Microsoft esplora le possibilità dei gesti in aria attorno agli smartphone moderni

Microsoft Research ha recentemente rivelato un nuovo progetto in cui stanno sviluppando un sistema di riconoscimento dei gesti in aria per smartphone. Quando tieni lo smartphone in una mano, puoi usare l'altra mano per fare dei gesti per interagire con il contenuto. Aumenta il meccanismo touchscreen esistente a cui siamo abituati. Può essere applicato a molti casi d'uso diversi, inclusi giochi, mappature e altro ancora.

Descrizione del progetto:

Presentiamo un nuovo algoritmo basato sull'apprendimento automatico che estende lo spazio di interazione attorno ai dispositivi mobili. La tecnica utilizza solo la fotocamera RGB ormai comune sui dispositivi mobili standard. Il nostro algoritmo riconosce in modo affidabile un'ampia gamma di gesti in aria, supportando la variazione dell'utente e condizioni di illuminazione variabili. Dimostriamo che il nostro algoritmo viene eseguito in tempo reale su dispositivi mobili non modificati, inclusi smartphone e smartwatch con risorse limitate. Il nostro obiettivo non è sostituire il touchscreen come dispositivo di input principale, ma piuttosto aumentare e arricchire il vocabolario di interazione esistente utilizzando i gesti. Sebbene l'input tattile funzioni bene per molti scenari, mostriamo numerose attività di interazione come interruttori di modalità, gestione di applicazioni e attività, selezione di menu e alcuni tipi di navigazione, in cui tale input può essere integrato o servito meglio da gesti in aria. Ciò rimuove i problemi di spazio sullo schermo sui piccoli touchscreen e consente di espandere l'input allo spazio 3D attorno al dispositivo. Presentiamo i risultati per l'accuratezza del riconoscimento (93% test e 98% treno), l'impatto dell'impronta di memoria e altri parametri del modello. Infine, riportiamo i risultati delle valutazioni preliminari degli utenti, discutiamo vantaggi e limiti e concludiamo con le indicazioni per il lavoro futuro.

Fonte: Microsoft