Microsoft untersucht die Möglichkeiten von In-Air-Gesten rund um moderne Smartphones

Microsoft Research hat kürzlich ein neues Projekt vorgestellt, in dem sie ein In-Air-Gestenerkennungssystem für Smartphones entwickeln. Wenn Sie Ihr Smartphone in einer Hand halten, können Sie mit der anderen Hand Gesten ausführen, um mit den Inhalten zu interagieren. Es erweitert den bestehenden Touchscreen-Mechanismus, an den wir gewöhnt sind. Es kann auf viele verschiedene Anwendungsfälle angewendet werden, darunter Gaming, Mapping und mehr.

Projektbeschreibung:

Wir stellen einen neuartigen, auf maschinellem Lernen basierenden Algorithmus vor, der den Interaktionsraum um mobile Geräte erweitert. Die Technik verwendet nur die RGB-Kamera, die heute auf handelsüblichen Mobilgeräten üblich ist. Unser Algorithmus erkennt zuverlässig eine breite Palette von In-Air-Gesten und unterstützt Benutzervariationen und unterschiedliche Lichtverhältnisse. Wir zeigen, dass unser Algorithmus auf unveränderten Mobilgeräten, einschließlich ressourcenbeschränkter Smartphones und Smartwatches, in Echtzeit ausgeführt wird. Unser Ziel ist es nicht, den Touchscreen als primäres Eingabegerät zu ersetzen, sondern das bestehende Interaktionsvokabular durch Gesten zu erweitern und zu bereichern. Während die Touch-Eingabe für viele Szenarien gut funktioniert, demonstrieren wir zahlreiche Interaktionsaufgaben wie Moduswechsel, Anwendungs- und Aufgabenverwaltung, Menüauswahl und bestimmte Arten der Navigation, bei denen solche Eingaben durch In-Air-Gesten entweder ergänzt oder besser bedient werden können. Dadurch werden Probleme mit dem Bildschirmplatz auf kleinen Touchscreens beseitigt und die Eingabe kann auf den 3D-Raum um das Gerät herum erweitert werden. Wir präsentieren Ergebnisse für die Erkennungsgenauigkeit (93 % Test und 98 % Train), den Einfluss des Speicherbedarfs und andere Modellparameter. Abschließend berichten wir über Ergebnisse vorläufiger Benutzerevaluationen, diskutieren Vorteile und Einschränkungen und schließen mit Anweisungen für die zukünftige Arbeit.

Quelle: Microsoft