Microsoft-onderzoekers werken aan systemen voor het nauwkeurig volgen van handbewegingen

Bewegingsregistratie is niets nieuws voor Microsoft, we hebben hun expertise gezien in commerciële producten zoals Microsoft Kinect. Het computer vision-team van Microsoft Research werkt nu aan de nieuwste ontwikkelingen op het gebied van gedetailleerde handtracking. Ze hebben een systeem gemaakt dat handen soepel, snel en nauwkeurig kan volgen - in realtime - maar dat kan draaien op een gewoon consumentengadget. Dit systeem kan worden gebruikt met Virtual Reality-toepassingen.

Het systeem, voorlopig nog een onderzoeksproject, kan gedetailleerde handbewegingen volgen met of zonder een virtual reality-headset, waardoor de gebruiker een zacht, knuffelkonijn kan porren, aan een knop kan draaien of een knop kan verplaatsen.

Bovendien laat het systeem je zien wat je handen doen, waardoor een veelvoorkomende en verwarrende ontkoppeling wordt verholpen die optreedt wanneer mensen interactie hebben met virtual reality, maar hun eigen handen niet kunnen zien.

HoloLens bevat al gebaar ondersteuning waarmee gebruikers kunnen communiceren met hologrammen. Hopelijk zal dit nieuwe project van MSR de ervaring met gebareninvoer in HoloLens verder verbeteren.

Projectsamenvatting:

Volledig gearticuleerde handtracking belooft fundamenteel nieuwe interacties met virtuele en augmented werelden mogelijk te maken, maar de beperkte nauwkeurigheid en efficiëntie van de huidige systemen heeft een brede acceptatie verhinderd. Het dominante paradigma van vandaag maakt gebruik van machine learning voor initialisatie en herstel, gevolgd door iteratieve optimalisatie van modellen om een ​​gedetailleerde pose te bereiken. We volgen dit paradigma, maar brengen verschillende wijzigingen aan in de modellering, namelijk door gebruik te maken van: (1) een meer onderscheidende objectieve functie; (2) een model met een glad oppervlak dat gradiënten biedt voor niet-lineaire optimalisatie; en (3) gezamenlijke optimalisatie over zowel de modelhouding als de overeenkomsten tussen waargenomen gegevenspunten en het modeloppervlak. Hoewel elk van deze veranderingen de kosten per iteratie kan verhogen, vinden we een compenserende afname van het aantal iteraties. Verder betekent het brede convergentiebekken dat er minder uitgangspunten nodig zijn voor een succesvolle modellering. Ons systeem werkt in realtime op alleen CPU, waardoor de vaak overbelaste GPU vrijkomt voor ervaren ontwerpers. De handtracker is efficiënt genoeg om te werken op apparaten met een laag stroomverbruik, zoals tablets. We kunnen tot enkele meters van de camera volgen om een ​​groot werkvolume voor interactie te bieden, zelfs met behulp van de ruisige gegevens van de huidige generatie dieptecamera's. Kwantitatieve beoordelingen van standaard datasets tonen aan dat de nieuwe aanpak de stand van de techniek in nauwkeurigheid overtreft. Kwalitatieve resultaten in de vorm van live-opnames van een reeks interactieve ervaringen die door deze nieuwe aanpak mogelijk worden gemaakt.

Lees hier meer over projecteren hier.