Οι ερευνητές της Microsoft εργάζονται σε συστήματα για την ακριβή παρακολούθηση της κίνησης του χεριού

Η παρακολούθηση κίνησης δεν είναι κάτι καινούργιο για τη Microsoft, έχουμε δει την εμπειρία της σε εμπορικά προϊόντα όπως το Microsoft Kinect. Η ομάδα όρασης υπολογιστών της Microsoft Research εργάζεται τώρα για τις τελευταίες εξελίξεις στη λεπτομερή παρακολούθηση χεριών. Δημιούργησαν ένα σύστημα που μπορεί να παρακολουθεί τα χέρια ομαλά, γρήγορα και με ακρίβεια –σε πραγματικό χρόνο– αλλά μπορεί να λειτουργήσει σε ένα κανονικό gadget καταναλωτή. Αυτό το σύστημα μπορεί να χρησιμοποιηθεί με εφαρμογές εικονικής πραγματικότητας.

Το σύστημα, ακόμα ένα ερευνητικό έργο προς το παρόν, μπορεί να παρακολουθεί λεπτομερή κίνηση του χεριού με ακουστικά εικονικής πραγματικότητας ή χωρίς αυτό, επιτρέποντας στον χρήστη να χτυπήσει ένα μαλακό, γεμιστό λαγουδάκι, να γυρίσει ένα πόμολο ή να μετακινήσει ένα καντράν.

Επιπλέον, το σύστημα σάς επιτρέπει να βλέπετε τι κάνουν τα χέρια σας, διορθώνοντας μια κοινή και μπερδεμένη αποσύνδεση που συμβαίνει όταν οι άνθρωποι αλληλεπιδρούν με την εικονική πραγματικότητα αλλά δεν μπορούν να δουν τα χέρια τους.

HoloLens περιλαμβάνει ήδη υποστήριξη χειρονομιών που επιτρέπει στους χρήστες να αλληλεπιδρούν με Ολογράμματα. Ας ελπίσουμε ότι αυτό το νέο έργο από το MSR θα βελτιώσει περαιτέρω την εμπειρία εισαγωγής χειρονομιών στο HoloLens.

Περίληψη έργου:

Η πλήρως αρθρωμένη παρακολούθηση χεριών υπόσχεται να επιτρέψει θεμελιωδώς νέες αλληλεπιδράσεις με εικονικούς και επαυξημένους κόσμους, αλλά η περιορισμένη ακρίβεια και αποτελεσματικότητα των σημερινών συστημάτων έχει αποτρέψει την ευρεία υιοθέτηση. Το σημερινό κυρίαρχο παράδειγμα χρησιμοποιεί μηχανική μάθηση για αρχικοποίηση και ανάκτηση ακολουθούμενη από επαναληπτική βελτιστοποίηση μοντέλων για την επίτευξη λεπτομερούς πόζας ?t. Ακολουθούμε αυτό το παράδειγμα, αλλά κάνουμε αρκετές αλλαγές στη διαμόρφωση του μοντέλου, χρησιμοποιώντας συγκεκριμένα: (1) μια πιο διακριτική αντικειμενική συνάρτηση. (2) ένα μοντέλο λείας επιφάνειας που παρέχει κλίσεις για μη γραμμική βελτιστοποίηση. και (3) κοινή βελτιστοποίηση τόσο στη θέση του μοντέλου όσο και στις αντιστοιχίες μεταξύ των παρατηρούμενων σημείων δεδομένων και της επιφάνειας του μοντέλου. Ενώ καθεμία από αυτές τις αλλαγές μπορεί στην πραγματικότητα να αυξήσει το κόστος ανά επανάληψη, έχουμε μια αντισταθμιστική μείωση στον αριθμό των επαναλήψεων. Περαιτέρω, η ευρεία λεκάνη σύγκλισης σημαίνει ότι χρειάζονται λιγότερα σημεία εκκίνησης για την επιτυχημένη διαμόρφωση του μοντέλου. Το σύστημά μας εκτελείται σε πραγματικό χρόνο μόνο σε CPU, γεγονός που απελευθερώνει την συνήθως υπερβολικά επιβαρυμένη GPU για σχεδιαστές εμπειρίας. Ο ιχνηλάτης χεριών είναι αρκετά αποτελεσματικός για να λειτουργεί σε συσκευές χαμηλής κατανάλωσης, όπως τα tablet. Μπορούμε να παρακολουθήσουμε έως και αρκετά μέτρα από την κάμερα για να παρέχουμε μεγάλο όγκο εργασίας για αλληλεπίδραση, ακόμη και χρησιμοποιώντας τα θορυβώδη δεδομένα από τις κάμερες βάθους τρέχουσας γενιάς. Οι ποσοτικές αξιολογήσεις σε τυπικά σύνολα δεδομένων δείχνουν ότι η νέα προσέγγιση υπερβαίνει την τελευταία λέξη της τεχνολογίας σε ακρίβεια. Τα ποιοτικά αποτελέσματα έχουν τη μορφή ζωντανών ηχογραφήσεων μιας σειράς διαδραστικών εμπειριών που ενεργοποιούνται από αυτή τη νέα προσέγγιση.

Διαβάστε περισσότερα για αυτό έργο εδώ.