Microsoftovi istraživači rade na sustavima za precizno praćenje pokreta ruke

Praćenje pokreta nije ništa novo za Microsoft, vidjeli smo njihovu stručnost u komercijalnim proizvodima kao što je Microsoft Kinect. Tim za računalni vid tvrtke Microsoft Research sada radi na najnovijim dostignućima u detaljnom praćenju ruku. Stvorili su sustav koji može glatko, brzo i točno pratiti ruke – u stvarnom vremenu – ali može raditi na običnom potrošačkom gadgetu. Ovaj se sustav može koristiti s aplikacijama virtualne stvarnosti.

Sustav, koji je za sada još uvijek istraživački projekt, može pratiti detaljne pokrete ruke sa slušalicama za virtualnu stvarnost ili bez njih, dopuštajući korisniku da bocka mekog, punjenog zečića, okreće gumb ili pomiče kotačić.

Štoviše, sustav vam omogućuje da vidite što vaše ruke rade, popravljajući uobičajeni i zbunjujući prekid veze koji se događa kada ljudi komuniciraju s virtualnom stvarnošću, ali ne mogu vidjeti svoje ruke.

HoloLens već uključuje podrška gestama što korisnicima omogućuje interakciju s hologramima. Nadamo se da će ovaj novi projekt iz MSR-a dodatno poboljšati iskustvo unosa gestama u HoloLensu.

Sažetak projekta:

Potpuno artikulirano praćenje ruku obećava da će omogućiti temeljno nove interakcije s virtualnim i proširenim svjetovima, ali ograničena točnost i učinkovitost postojećih sustava spriječila je široko prihvaćanje. Današnja dominantna paradigma koristi strojno učenje za inicijalizaciju i oporavak praćeno iterativnom optimizacijom postavljanja modela kako bi se postigla detaljna poza ?t. Slijedimo ovu paradigmu, ali unosimo nekoliko promjena u postavljanje modela, naime koristeći: (1) diskriminativniju ciljnu funkciju; (2) model glatke površine koji daje gradijente za nelinearnu optimizaciju; i (3) zajednička optimizacija i nad položajem modela i korespondencijama između promatranih točaka podataka i površine modela. Iako svaka od ovih promjena zapravo može povećati cijenu po iteraciji postavljanja, nalazimo kompenzirajuće smanjenje broja iteracija. Nadalje, široki bazen konvergencije znači da je potrebno manje polaznih točaka za uspješno postavljanje modela. Naš sustav radi u stvarnom vremenu samo na CPU-u, što oslobađa uobičajeno preopterećen GPU za dizajnere iskustva. Ručni tracker je dovoljno učinkovit za rad na uređajima male snage kao što su tableti. Možemo pratiti do nekoliko metara od kamere kako bismo osigurali veliki radni volumen za interakciju, čak i uz korištenje bučnih podataka s dubinskih kamera trenutne generacije. Kvantitativne procjene na standardnim skupovima podataka pokazuju da novi pristup premašuje stanje tehnike u točnosti. Kvalitativni rezultati imaju oblik živih snimaka niza interaktivnih iskustava omogućenih ovim novim pristupom.

Pročitajte više o ovome projekt ovdje.