Microsoftin tutkijat kehittävät järjestelmiä käsien liikkeen tarkkaan seurantaan

Liikeseuranta ei ole mitään uutta Microsoftille, olemme nähneet heidän asiantuntemuksensa kaupallisissa tuotteissa, kuten Microsoft Kinect. Microsoft Researchin tietokonenäkötiimi työskentelee nyt uusimpien edistysten parissa yksityiskohtaisessa käsien seurannassa. He ovat luoneet järjestelmän, joka voi seurata käsiä sujuvasti, nopeasti ja tarkasti – reaaliajassa – mutta joka voi toimia tavallisessa kuluttajalaitteessa. Tätä järjestelmää voidaan käyttää virtuaalitodellisuussovellusten kanssa.

Järjestelmä, joka on toistaiseksi vielä tutkimusprojekti, voi seurata yksityiskohtaista käden liikettä virtuaalitodellisuuskuulokkeilla tai ilman niitä, jolloin käyttäjä voi tökätä pehmeää, täytettyä pupua, kääntää nuppia tai liikuttaa valitsinta.

Lisäksi järjestelmä antaa sinun nähdä, mitä kätesi tekevät. Se korjaa yleisen ja hämmentävän katkoksen, joka tapahtuu, kun ihmiset ovat vuorovaikutuksessa virtuaalitodellisuuden kanssa, mutta eivät näe omia käsiään.

HoloLens sisältää jo eletuki jonka avulla käyttäjät voivat olla vuorovaikutuksessa hologrammien kanssa. Toivottavasti tämä MSR:n uusi projekti parantaa edelleen HoloLensin eleiden syöttökokemusta.

Hankkeen tiivistelmä:

Täysin artikuloitu käsiseuranta lupaa mahdollistaa perustavanlaatuisen uudenlaisen vuorovaikutuksen virtuaalisten ja lisättyjen maailmojen kanssa, mutta nykyisten järjestelmien rajallinen tarkkuus ja tehokkuus on estänyt laajan käyttöönoton. Nykyään hallitseva paradigma käyttää koneoppimista alustukseen ja palautukseen, jota seuraa iteratiivinen mallin optimointi yksityiskohtaisen asennon saavuttamiseksi. Seuraamme tätä paradigmaa, mutta teemme useita muutoksia malliin, nimittäin käyttämällä: (1) erottelevampaa tavoitefunktiota; (2) tasaisen pinnan malli, joka tarjoaa gradientteja epälineaarista optimointia varten; ja (3) yhteinen optimointi sekä malliasennossa että havaittujen datapisteiden ja mallin pinnan välisissä vastaavuuksissa. Vaikka jokainen näistä muutoksista voi itse asiassa lisätä kustannuksia per iteraatio, löydämme kompensoivan laskun iteraatioiden määrässä. Lisäksi laaja konvergenssialue tarkoittaa, että onnistuneeseen mallin luomiseen tarvitaan vähemmän lähtökohtia. Järjestelmämme toimii reaaliajassa vain prosessorilla, mikä vapauttaa kokeneiden suunnittelijoiden yleisesti ylikuormitetun GPU:n. Käsiseuranta on tarpeeksi tehokas toimimaan vähän virtaa kuluttavilla laitteilla, kuten tableteilla. Pystymme seuraamaan jopa useiden metrien päähän kamerasta, jotta voimme tarjota suuren työskentelytilavuuden vuorovaikutusta varten, jopa käyttämällä nykyisen sukupolven syvyyskameroiden meluisia tietoja. Vakioaineistojen kvantitatiiviset arvioinnit osoittavat, että uusi lähestymistapa ylittää tarkkuudeltaan tekniikan tason. Laadulliset tulokset ovat tämän uuden lähestymistavan mahdollistamia interaktiivisten kokemusten live-tallenteita.

Lue lisää tästä projekti täällä.