I ricercatori Microsoft stanno lavorando su sistemi per il tracciamento preciso del movimento della mano

Il rilevamento del movimento non è una novità per Microsoft, abbiamo visto la loro esperienza in prodotti commerciali come Microsoft Kinect. Il team di computer vision di Microsoft Research sta ora lavorando sugli ultimi progressi nel tracciamento dettagliato delle mani. Hanno creato un sistema in grado di tracciare le mani in modo fluido, rapido e preciso, in tempo reale, ma può essere eseguito su un normale gadget di consumo. Questo sistema può essere utilizzato con applicazioni di realtà virtuale.

Il sistema, ancora un progetto di ricerca per ora, è in grado di tracciare il movimento dettagliato della mano con un visore per realtà virtuale o senza di esso, consentendo all'utente di colpire un morbido coniglietto di peluche, ruotare una manopola o spostare un quadrante.

Inoltre, il sistema ti consente di vedere cosa stanno facendo le tue mani, risolvendo una disconnessione comune e sconcertante che si verifica quando le persone interagiscono con la realtà virtuale ma non possono vedere le proprie mani.

HoloLens già include supporto gestuale che consente agli utenti di interagire con gli ologrammi. Si spera che questo nuovo progetto di MSR migliorerà ulteriormente l'esperienza di input dei gesti in HoloLens.

Estratto del progetto:

Il tracciamento delle mani completamente articolato promette di consentire interazioni fondamentalmente nuove con mondi virtuali e aumentati, ma l'accuratezza e l'efficienza limitate dei sistemi attuali ha impedito un'adozione diffusa. Il paradigma dominante di oggi utilizza l'apprendimento automatico per l'inizializzazione e il ripristino, seguito dall'ottimizzazione iterativa della modellazione per ottenere una posa dettagliata ?t. Seguiamo questo paradigma, ma apportiamo diverse modifiche alla modellazione, vale a dire utilizzando: (1) una funzione oggettiva più discriminativa; (2) un modello a superficie liscia che fornisce gradienti per l'ottimizzazione non lineare; e (3) ottimizzazione del giunto sia sulla posa del modello che sulle corrispondenze tra i punti dati osservati e la superficie del modello. Sebbene ciascuna di queste modifiche possa effettivamente aumentare il costo per l'iterazione, troviamo una diminuzione compensativa del numero di iterazioni. Inoltre, l'ampio bacino di convergenza significa che sono necessari meno punti di partenza per la realizzazione di modelli di successo. Il nostro sistema funziona in tempo reale solo sulla CPU, il che libera la GPU comunemente sovraccaricata per i progettisti dell'esperienza. L'hand tracker è abbastanza efficiente da funzionare su dispositivi a bassa potenza come i tablet. Siamo in grado di tracciare fino a diversi metri dalla telecamera per fornire un ampio volume di lavoro per l'interazione, anche utilizzando i dati rumorosi delle telecamere di profondità dell'attuale generazione. Le valutazioni quantitative sui set di dati standard mostrano che il nuovo approccio supera lo stato dell'arte in termini di accuratezza. I risultati qualitativi prendono la forma di registrazioni dal vivo di una serie di esperienze interattive rese possibili da questo nuovo approccio.

Leggi di più su questo progetto qui.