Microsoft araştırmacıları, el hareketinin hassas takibi için sistemler üzerinde çalışıyor

Hareket izleme Microsoft için yeni bir şey değil, Microsoft Kinect gibi ticari ürünlerdeki uzmanlıklarını gördük. Microsoft Research'ün bilgisayarlı görme ekibi şimdi ayrıntılı el takibindeki en son gelişmeler üzerinde çalışıyor. Elleri sorunsuz, hızlı ve doğru bir şekilde - gerçek zamanlı olarak - takip edebilen, ancak normal bir tüketici cihazında çalışabilen bir sistem oluşturdular. Bu sistem Sanal Gerçeklik uygulamaları ile kullanılabilir.

Şimdilik hala bir araştırma projesi olan sistem, sanal gerçeklik kulaklığı ile veya onsuz ayrıntılı el hareketini izleyerek kullanıcının yumuşak, doldurulmuş bir tavşanı dürtmesine, bir düğmeyi çevirmesine veya bir kadranı hareket ettirmesine izin veriyor.

Dahası, sistem ellerinizin ne yaptığını görmenize izin vererek, insanlar sanal gerçeklikle etkileşime girdiğinde ancak kendi ellerini göremediğinde ortaya çıkan yaygın ve kafa karıştırıcı bir bağlantıyı düzeltiyor.

HoloLens zaten içeriyor jest desteği Bu, kullanıcıların Hologramlarla etkileşime girmesine olanak tanır. MSR'nin bu yeni projesinin HoloLens'teki jest girişi deneyimini daha da iyileştireceğini umuyoruz.

Proje Özeti:

Tamamen eklemli el izleme, sanal ve artırılmış dünyalarla temelde yeni etkileşimler sağlamayı vaat ediyor, ancak mevcut sistemlerin sınırlı doğruluğu ve verimliliği, yaygın olarak benimsenmesini engelledi. Günümüzün baskın paradigması, başlatma ve kurtarma için makine öğrenimini ve ardından ayrıntılı bir poz elde etmek için yinelemeli modelleme optimizasyonunu kullanır. Bu paradigmayı takip ediyoruz, ancak aşağıdakileri kullanarak model oluşturmada birkaç değişiklik yapıyoruz: (1) daha ayırt edici bir amaç fonksiyonu; (2) doğrusal olmayan optimizasyon için gradyanlar sağlayan bir pürüzsüz yüzey modeli; ve (3) hem model pozu hem de gözlemlenen veri noktaları ile model yüzeyi arasındaki yazışmalar üzerinde ortak optimizasyon. Bu değişikliklerin her biri, her bir yineleme başına maliyeti gerçekten artırabilirken, yineleme sayısında telafi edici bir düşüş görüyoruz. Ayrıca, geniş yakınsama havzası, başarılı model oluşturma için daha az başlangıç ​​noktasına ihtiyaç duyulduğu anlamına gelir. Sistemimiz yalnızca CPU üzerinde gerçek zamanlı olarak çalışır, bu da deneyim tasarımcıları için genellikle aşırı yüklenen GPU'yu serbest bırakır. El takip cihazı, tabletler gibi düşük güçlü cihazlarda çalışacak kadar verimlidir. Mevcut nesil derinlik kameralarından gelen gürültülü verileri kullanarak bile etkileşim için geniş bir çalışma hacmi sağlamak için kameradan birkaç metreye kadar takip edebiliyoruz. Standart veri kümeleri üzerindeki nicel değerlendirmeler, yeni yaklaşımın doğruluk açısından en son teknolojiyi aştığını göstermektedir. Niteliksel sonuçlar, bu yeni yaklaşımın sağladığı bir dizi etkileşimli deneyimin canlı kayıtları şeklini alır.

Bu konuda daha fazlasını okuyun proje burada.