Microsoft-forskere arbejder på systemer til præcis sporing af håndbevægelser

Motion tracking er ikke noget nyt for Microsoft, vi har set deres ekspertise inden for kommercielle produkter som Microsoft Kinect. Microsoft Researchs computervisionsteam arbejder nu på de seneste fremskridt inden for detaljeret håndsporing. De har skabt et system, der kan spore hænder jævnt, hurtigt og præcist – i realtid – men som kan køre på en almindelig forbrugergadget. Dette system kan bruges med Virtual Reality-applikationer.

Systemet, der stadig er et forskningsprojekt indtil videre, kan spore detaljerede håndbevægelser med et virtual reality-headset eller uden det, hvilket giver brugeren mulighed for at stikke en blød, udstoppet kanin, dreje en knap eller flytte en skive.

Desuden giver systemet dig mulighed for at se, hvad dine hænder laver, ved at rette en almindelig og forvirrende afbrydelse, der sker, når folk interagerer med virtual reality, men ikke kan se deres egne hænder.

HoloLens omfatter allerede gestusstøtte som giver brugerne mulighed for at interagere med hologrammer. Forhåbentlig vil dette nye projekt fra MSR yderligere forbedre gestus-inputoplevelsen i HoloLens.

Projektabstrakt:

Fuldt artikuleret håndsporing lover at muliggøre fundamentalt nye interaktioner med virtuelle og udvidede verdener, men den begrænsede nøjagtighed og effektivitet af nuværende systemer har forhindret udbredt anvendelse. Dagens dominerende paradigme bruger maskinlæring til initialisering og gendannelse efterfulgt af iterativ modeloptimering for at opnå en detaljeret positur. Vi følger dette paradigme, men foretager flere ændringer i model-?ttingen, nemlig ved at bruge: (1) en mere diskriminerende objektiv funktion; (2) en model med glat overflade, der giver gradienter til ikke-lineær optimering; og (3) fælles optimering over både modelpositionen og overensstemmelserne mellem observerede datapunkter og modeloverfladen. Selvom hver af disse ændringer faktisk kan øge omkostningerne pr. ?tting iteration, finder vi et kompenserende fald i antallet af iterationer. Ydermere betyder det brede konvergensbassin, at der er behov for færre udgangspunkter for succesfuld modeldannelse. Vores system kører kun i realtid på CPU, hvilket frigør den ofte overbelastede GPU for oplevelsesdesignere. Håndtrackeren er effektiv nok til at køre på enheder med lavt strømforbrug, såsom tablets. Vi kan spore op til flere meter fra kameraet for at give et stort arbejdsvolumen til interaktion, selv ved at bruge de støjende data fra den nuværende generation af dybdekameraer. Kvantitative vurderinger på standarddatasæt viser, at den nye tilgang overstiger den nyeste teknologi med hensyn til nøjagtighed. Kvalitative resultater har form af live-optagelser af en række interaktive oplevelser, som er muliggjort af denne nye tilgang.

Læs mere om dette projekt her.