Cercetătorii Microsoft lucrează la sisteme pentru urmărirea precisă a mișcării mâinii

Urmărirea mișcării nu este nimic nou pentru Microsoft, am văzut expertiza lor în produse comerciale precum Microsoft Kinect. Echipa de viziune computerizată a Microsoft Research lucrează acum la cele mai recente progrese în urmărirea detaliată a mâinilor. Ei au creat un sistem care poate urmări mâinile fără probleme, rapid și precis – în timp real – dar poate rula pe un gadget obișnuit pentru consumatori. Acest sistem poate fi utilizat cu aplicații de realitate virtuală.

Sistemul, încă un proiect de cercetare pentru moment, poate urmări mișcarea detaliată a mâinii cu o cască de realitate virtuală sau fără, permițând utilizatorului să împingă un iepuraș moale, umplut, să rotească un buton sau să miște un cadran.

În plus, sistemul îți permite să vezi ce fac mâinile tale, reparând o deconectare obișnuită și confuză care se întâmplă atunci când oamenii interacționează cu realitatea virtuală, dar nu își pot vedea propriile mâini.

HoloLens include deja sprijin gestual care permite utilizatorilor să interacționeze cu hologramele. Sperăm că acest nou proiect de la MSR va îmbunătăți și mai mult experiența de introducere a gesturilor în HoloLens.

Rezumatul proiectului:

Urmărirea mâinilor complet articulată promite să permită interacțiuni fundamental noi cu lumi virtuale și augmentate, dar acuratețea și eficiența limitate a sistemelor actuale au împiedicat adoptarea pe scară largă. Paradigma dominantă de astăzi folosește învățarea automată pentru inițializare și recuperare, urmată de optimizarea iterativă a modelării pentru a obține o poziție detaliată. Urmăm această paradigmă, dar facem câteva modificări la modelare, și anume folosind: (1) o funcție obiectivă mai discriminativă; (2) un model cu suprafață netedă care oferă gradienți pentru optimizarea neliniară; și (3) optimizarea comună atât asupra poziției modelului, cât și a corespondențelor dintre punctele de date observate și suprafața modelului. Deși fiecare dintre aceste modificări poate crește efectiv costul pe iterație de instalare, găsim o scădere compensatoare a numărului de iterații. În plus, bazinul larg de convergență înseamnă că sunt necesare mai puține puncte de plecare pentru realizarea modelelor de succes. Sistemul nostru rulează în timp real numai pe CPU, ceea ce eliberează GPU-ul supraîncărcat în mod obișnuit pentru designerii de experiență. Instrumentul de urmărire a mâinilor este suficient de eficient pentru a rula pe dispozitive cu consum redus, cum ar fi tabletele. Putem urmări până la câțiva metri de cameră pentru a oferi un volum mare de lucru pentru interacțiune, chiar și folosind datele zgomotoase de la camerele de adâncime din generația actuală. Evaluările cantitative ale seturilor de date standard arată că noua abordare depășește stadiul tehnicii în ceea ce privește acuratețea. Rezultatele calitative iau forma înregistrărilor live ale unei game de experiențe interactive, posibile de această nouă abordare.

Citiți mai multe despre acest lucru proiect aici.