Microsofts forskare arbetar med system för exakt spårning av handrörelser

Rörelsespårning är inget nytt för Microsoft, vi har sett deras expertis inom kommersiella produkter som Microsoft Kinect. Microsoft Researchs team för datorseende arbetar nu med de senaste framstegen inom detaljerad handspårning. De har skapat ett system som kan spåra händer smidigt, snabbt och exakt – i realtid – men som kan köras på en vanlig konsumentpryl. Detta system kan användas med Virtual Reality-applikationer.

Systemet, som fortfarande är ett forskningsprojekt för tillfället, kan spåra detaljerade handrörelser med ett virtual reality-headset eller utan det, vilket gör att användaren kan peta en mjuk, uppstoppad kanin, vrida på en ratt eller flytta en ratt.

Dessutom låter systemet dig se vad dina händer gör och fixar en vanlig och förvirrande frånkoppling som händer när människor interagerar med virtuell verklighet men inte kan se sina egna händer.

HoloLens innehåller redan geststöd som tillåter användare att interagera med hologram. Förhoppningsvis kommer detta nya projekt från MSR att ytterligare förbättra upplevelsen av gestinmatning i HoloLens.

Projektets sammanfattning:

Helt artikulerad handspårning lovar att möjliggöra fundamentalt nya interaktioner med virtuella och utökade världar, men den begränsade noggrannheten och effektiviteten hos nuvarande system har förhindrat utbredd användning. Dagens dominerande paradigm använder maskininlärning för initiering och återställning följt av iterativ modelloptimering för att uppnå en detaljerad ställning. Vi följer detta paradigm, men gör flera förändringar i modelleringen, nämligen att använda: (1) en mer diskriminerande objektiv funktion; (2) en slät yta modell som tillhandahåller gradienter för icke-linjär optimering; och (3) gemensam optimering över både modellpositionen och överensstämmelserna mellan observerade datapunkter och modellytan. Även om var och en av dessa ändringar faktiskt kan öka kostnaden per ?tting-iteration, hittar vi en kompenserande minskning av antalet iterationer. Vidare innebär den breda konvergensbassängen att färre utgångspunkter behövs för framgångsrik modelltillverkning. Vårt system körs endast i realtid på CPU, vilket frigör den ofta överbelastade GPU:n för upplevelsedesigners. Handspåraren är tillräckligt effektiv för att köras på enheter med låg effekt som surfplattor. Vi kan spåra upp till flera meter från kameran för att ge en stor arbetsvolym för interaktion, även med hjälp av bullriga data från nuvarande generations djupkameror. Kvantitativa bedömningar av standarddatauppsättningar visar att det nya tillvägagångssättet överträffar den senaste teknikens noggrannhet. Kvalitativa resultat tar formen av liveinspelningar av en rad interaktiva upplevelser som möjliggörs av detta nya tillvägagångssätt.

Läs mer om detta projekt här.