Výzkumníci Microsoftu pracují na systémech pro přesné sledování pohybu rukou

Sledování pohybu není pro Microsoft nic nového, viděli jsme jejich odborné znalosti v komerčních produktech, jako je Microsoft Kinect. Tým počítačového vidění společnosti Microsoft Research nyní pracuje na nejnovějších pokrocích v podrobném sledování ruky. Vytvořili systém, který dokáže sledovat ruce hladce, rychle a přesně – v reálném čase – ale může běžet na běžném spotřebitelském gadgetu. Tento systém lze použít s aplikacemi virtuální reality.

Systém, který je prozatím stále výzkumným projektem, dokáže sledovat detailní pohyb ruky s náhlavní soupravou pro virtuální realitu nebo bez ní, což uživateli umožňuje šťouchnout do měkkého vycpaného zajíčka, otočit knoflíkem nebo pohnout číselníkem.

A co víc, systém vám umožňuje vidět, co dělají vaše ruce, a opravuje běžné a matoucí odpojení, ke kterému dochází, když lidé interagují s virtuální realitou, ale nevidí své vlastní ruce.

HoloLens již zahrnuje podpora gesta který uživatelům umožňuje interakci s hologramy. Doufejme, že tento nový projekt od MSR dále zlepší zážitek ze zadávání gest v HoloLens.

Abstrakt projektu:

Plně artikulované ruční sledování slibuje umožnit zásadně nové interakce s virtuálními a rozšířenými světy, ale omezená přesnost a účinnost současných systémů zabránila širokému přijetí. Dnešní dominantní paradigma využívá strojové učení pro inicializaci a obnovu, po níž následuje iterativní optimalizace modelování k dosažení detailní pozice ?t. Držíme se tohoto paradigmatu, ale provádíme několik změn v modelování, jmenovitě pomocí: (1) více diskriminační objektivní funkce; (2) model s hladkým povrchem, který poskytuje gradienty pro nelineární optimalizaci; a (3) společná optimalizace jak pozice modelu, tak korespondence mezi pozorovanými datovými body a povrchem modelu. I když každá z těchto změn může ve skutečnosti zvýšit náklady na iteraci, najdeme kompenzující snížení počtu iterací. Široké povodí konvergence dále znamená, že pro úspěšné vytvoření modelu je potřeba méně výchozích bodů. Náš systém běží v reálném čase pouze na CPU, což uvolňuje běžně přetížené GPU pro zkušené designéry. Ruční sledovač je dostatečně účinný, aby běžel na zařízeních s nízkou spotřebou, jako jsou tablety. Můžeme sledovat až několik metrů od kamery, abychom poskytli velký pracovní objem pro interakci, a to i pomocí zašuměných dat z hloubkových kamer současné generace. Kvantitativní hodnocení standardních datových souborů ukazuje, že nový přístup svou přesností přesahuje současný stav techniky. Kvalitativní výsledky mají podobu živých nahrávek řady interaktivních zážitků, které tento nový přístup umožňuje.

Přečtěte si o tom více projekt zde.