Microsoft-Forscher arbeiten an Systemen zur präzisen Verfolgung von Handbewegungen

Bewegungsverfolgung ist nichts Neues für Microsoft, wir haben ihre Expertise in kommerziellen Produkten wie Microsoft Kinect gesehen. Das Computer-Vision-Team von Microsoft Research arbeitet jetzt an den neuesten Fortschritten bei der detaillierten Handverfolgung. Sie haben ein System geschaffen, das Hände reibungslos, schnell und genau – in Echtzeit – verfolgen kann, aber auf einem normalen Verbrauchergerät laufen kann. Dieses System kann mit Virtual-Reality-Anwendungen verwendet werden.

Das System, das vorerst noch ein Forschungsprojekt ist, kann detaillierte Handbewegungen mit oder ohne Virtual-Reality-Headset verfolgen, sodass der Benutzer einen weichen, ausgestopften Hasen anstupsen, einen Knopf drehen oder ein Zifferblatt bewegen kann.

Darüber hinaus lässt Sie das System sehen, was Ihre Hände tun, und behebt eine häufige und verwirrende Unterbrechung, die auftritt, wenn Menschen mit der virtuellen Realität interagieren, aber ihre eigenen Hände nicht sehen können.

HoloLens bereits enthalten Gestenunterstützung die es Benutzern ermöglicht, mit Hologrammen zu interagieren. Hoffentlich wird dieses neue Projekt von MSR die Gesteneingabe in HoloLens weiter verbessern.

Projektzusammenfassung:

Voll artikuliertes Hand-Tracking verspricht grundlegend neue Interaktionen mit virtuellen und erweiterten Welten, aber die begrenzte Genauigkeit und Effizienz aktueller Systeme hat eine weit verbreitete Einführung verhindert. Das heute vorherrschende Paradigma verwendet maschinelles Lernen für die Initialisierung und Wiederherstellung, gefolgt von einer iterativen Modellanpassungsoptimierung, um eine detaillierte Posenanpassung zu erreichen. Wir folgen diesem Paradigma, nehmen aber einige Änderungen an der Modellanpassung vor, nämlich unter Verwendung von: (1) einer diskriminierenderen Zielfunktion; (2) ein Modell mit glatter Oberfläche, das Gradienten für eine nichtlineare Optimierung bereitstellt; und (3) gemeinsame Optimierung sowohl über die Modellpose als auch die Korrespondenzen zwischen beobachteten Datenpunkten und der Modelloberfläche. Während jede dieser Änderungen tatsächlich die Kosten pro Anpassungsiteration erhöhen kann, finden wir eine kompensierende Verringerung der Anzahl der Iterationen. Darüber hinaus bedeutet das breite Konvergenzbecken, dass weniger Ausgangspunkte für eine erfolgreiche Modellanpassung benötigt werden. Unser System läuft in Echtzeit nur auf der CPU, wodurch die häufig überlastete GPU für erfahrene Designer entlastet wird. Der Hand-Tracker ist effizient genug, um auf Geräten mit geringem Stromverbrauch wie Tablets ausgeführt zu werden. Wir können bis zu mehrere Meter von der Kamera entfernt verfolgen, um ein großes Arbeitsvolumen für die Interaktion bereitzustellen, selbst unter Verwendung der verrauschten Daten von Tiefenkameras der aktuellen Generation. Quantitative Auswertungen an Standarddatensätzen zeigen, dass der neue Ansatz an Genauigkeit den Stand der Technik übertrifft. Qualitative Ergebnisse liegen in Form von Live-Aufnahmen einer Reihe von interaktiven Erfahrungen vor, die durch diesen neuen Ansatz ermöglicht werden.

Lesen Sie mehr darüber Projekt hier.