Badacze Microsoft pracują nad systemami do precyzyjnego śledzenia ruchu dłoni

Śledzenie ruchu nie jest niczym nowym dla firmy Microsoft, widzieliśmy ich doświadczenie w zakresie produktów komercyjnych, takich jak Microsoft Kinect. Zespół ds. wizji komputerowej firmy Microsoft Research pracuje obecnie nad najnowszymi osiągnięciami w zakresie szczegółowego śledzenia dłoni. Stworzyli system, który może śledzić ręce płynnie, szybko i dokładnie – w czasie rzeczywistym – ale może działać na zwykłym gadżecie konsumenckim. Ten system może być używany z aplikacjami wirtualnej rzeczywistości.

System, na razie projekt badawczy, może śledzić szczegółowe ruchy dłoni za pomocą zestawu słuchawkowego rzeczywistości wirtualnej lub bez niego, umożliwiając użytkownikowi szturchnięcie miękkiego, wypchanego króliczka, przekręcenie pokrętła lub poruszenie tarczą.

Co więcej, system pozwala zobaczyć, co robią twoje ręce, naprawiając powszechne i kłopotliwe rozłączenie, które ma miejsce, gdy ludzie wchodzą w interakcję z wirtualną rzeczywistością, ale nie widzą własnych rąk.

HoloLens już zawiera wsparcie gestów co pozwala użytkownikom na interakcję z hologramami. Mamy nadzieję, że ten nowy projekt od MSR jeszcze bardziej poprawi wrażenia z wprowadzania gestów w HoloLens.

Streszczenie projektu:

W pełni wyartykułowane śledzenie dłoni obiecuje umożliwić zupełnie nowe interakcje ze światami wirtualnymi i rozszerzonymi, ale ograniczona dokładność i wydajność obecnych systemów uniemożliwiła ich powszechne przyjęcie. Dzisiejszy dominujący paradygmat wykorzystuje uczenie maszynowe do inicjalizacji i odzyskiwania, po czym następuje iteracyjna optymalizacja dopasowania modelu w celu uzyskania szczegółowego dopasowania. Podążamy za tym paradygmatem, ale wprowadzamy kilka zmian w dopasowaniu modelu, a mianowicie stosując: (1) bardziej dyskryminacyjną funkcję celu; (2) model o gładkiej powierzchni, który zapewnia gradienty do optymalizacji nieliniowej; oraz (3) wspólna optymalizacja zarówno względem pozycji modelu, jak i zależności między obserwowanymi punktami danych a powierzchnią modelu. Chociaż każda z tych zmian może faktycznie zwiększyć koszt iteracji dopasowania, znajdujemy kompensujący spadek liczby iteracji. Co więcej, szeroki obszar zbieżności oznacza, że ​​do udanego dopasowania modelu potrzeba mniej punktów początkowych. Nasz system działa w czasie rzeczywistym tylko na procesorze, co zwalnia często przeciążony procesor graficzny dla doświadczonych projektantów. Urządzenie do śledzenia dłoni jest wystarczająco wydajne, aby działać na urządzeniach o niskim poborze mocy, takich jak tablety. Możemy śledzić nawet kilka metrów od kamery, aby zapewnić dużą objętość roboczą dla interakcji, nawet korzystając z zaszumionych danych z kamer głębinowych obecnej generacji. Oceny ilościowe na standardowych zestawach danych pokazują, że nowe podejście wykracza poza dotychczasową dokładność pod względem dokładności. Wyniki jakościowe przybierają formę nagrań na żywo szeregu interaktywnych doświadczeń, które umożliwia to nowe podejście.

Przeczytaj więcej na ten temat projekt tutaj.