Μια ματιά στις προκλήσεις στη δημιουργία του Kinect επόμενης γενιάς για το Xbox One

Νομίζω ότι το Playstation θα μετανιώσει σοβαρά που δεν συνέδεσε την έκδοση του Kinect με το PS4. Ίσως ήξεραν ότι δεν θα ήταν τόσο καλό όσο το Kinect 2.0 ούτως ή άλλως.

Ο Cyrus Bamji, συνεργάτης αρχιτέκτονας υλικού της Microsoft για τον όμιλο Architecture and Silicon Management της Microsoft που βασίζεται στη Silicon Valley, και μέλη της ομάδας του προσπαθούσαν να ενσωματώσουν μια κάμερα χρόνου πτήσης στο Xbox One. 

Μια κάμερα ώρας πτήσης εκπέμπει φωτεινά σήματα και στη συνέχεια μετρά πόσο χρόνο χρειάζονται για να επιστρέψουν. Αυτό πρέπει να είναι ακριβές στο 1/10,000,000,000 του δευτερολέπτου. την ταχύτητα του φωτός. Με τέτοιες μετρήσεις, η κάμερα είναι σε θέση να διαφοροποιεί το φως που αντανακλάται από τα αντικείμενα σε ένα δωμάτιο και το περιβάλλον περιβάλλον. Αυτό παρέχει μια ακριβή εκτίμηση βάθους που επιτρέπει τον υπολογισμό του σχήματος αυτών των αντικειμένων.

Αυτή η δυνατότητα ταχύτητας φωτός θα ήταν μια σημαντική πρόοδος για το τμήμα αισθητήρων Kinect του Xbox One, το οποίο θα κυκλοφορήσει σε 13 αγορές τον επόμενο μήνα. Το νέο Kinect, βασικός παράγοντας διαφοροποίησης για το Xbox One έναντι του ανταγωνισμού του, έπρεπε να καταγράψει ένα μεγαλύτερο οπτικό πεδίο με μεγαλύτερη ακρίβεια και υψηλότερη ανάλυση. Ένας αισθητήρας υπερύθρων θα επιτρέψει την αναγνώριση αντικειμένων που απαιτεί ελάχιστο έως καθόλου φως και βελτιωμένη αναγνώριση πόζας χεριού, δίνοντας στους παίκτες και στους πιο περιστασιακούς χρήστες τη δυνατότητα να ελέγχουν την κονσόλα με τα χέρια τους.

«Όταν παίρνουμε μια σχετικά νέα τεχνολογία, όπως το time-of-flight, και την τοποθετούμε σε ένα εμπορικό προϊόν, συμβαίνουν πολλά πράγματα», λέει. «Υπάρχουν πράγματα που δεν ξέραμε πόσο σημαντικά ήταν μέχρι να κατασκευαστεί το προϊόν. Για παράδειγμα, γνωρίζουμε θεωρητικά ότι το θάμπωμα κίνησης κατά τη διάρκεια της πτήσης είναι ένα μεγάλο πρόβλημα, αλλά το πόσο σημαντικό μπορεί να ανακαλυφθεί μόνο όταν κατασκευάζετε ένα προϊόν με αυτό και αυτό το προϊόν πρέπει να προσφέρει μια εξαιρετική εμπειρία."

Η ακριβής μέτρηση βάθους σε διάφορες σκηνές με την υψηλή ανάλυση της νέας κάμερας και το ευρύτερο οπτικό πεδίο θέτει επίσης προβλήματα εμπειρίας χρήστη, γεγονός που καθιστά δύσκολο να μην ξεθωριάσουν τα μικρά αντικείμενα, όπως ένα δάχτυλο, στο παρασκήνιο, για παράδειγμα. Ενώ αυτές οι δυνατότητες παρείχαν πιο ευέλικτη απόδοση της συσκευής, δημιούργησαν επίσης δικά τους προβλήματα σε σενάρια πραγματικής ζωής, όπως η ανάγκη για ακριβή μέτρηση βάθους σε διάφορες σκηνές υψηλής ανάλυσης. Αυτό, εκτός από τη βελτίωση του ευρύτερου οπτικού πεδίου και του θαμπώματος κίνησης, απαιτούσε καθαρά δεδομένα—γρήγορα. Το Xbox One έπρεπε να είναι έτοιμο για την εορταστική περίοδο του 2013.

Η αναλογική φύση των δεδομένων χρόνου πτήσης έθετε προκλήσεις για την παροχή μιας τέτοιας λύσης.

«Τα δεδομένα χρόνου πτήσης που προέρχονται από τον αισθητήρα μας είναι ανά pixel, ανά καρέ και υπάρχουν πολύ περισσότερες αναλογικές πληροφορίες», λέει ο Acharya. "Ένα άλλο ζήτημα ήταν ότι τα αντικείμενα του πρώτου πλάνου κοντά στα αντικείμενα του φόντου θα έλιωναν στο φόντο - και πάλι, λόγω της αναλογικής φύσης του τρόπου με τον οποίο ο αισθητήρας μας παρέχει τα δεδομένα βάθους για pixel που προσγειώνονται στις άκρες."

«Αυτό είχε ως αποτέλεσμα πολλές πληροφορίες και για να διευκολυνθεί η εξαγωγή προσκηνίου/παρασκηνίου και η τμηματοποίηση σκηνής, η χρήση από προγραμματιστές λογισμικού και παιχνιδιών, η απαίτηση ήταν να καθαριστούν αυτά τα δεδομένα ταυτόχρονα με την προσθήκη αλγορίθμων λογισμικού στο σωλήνα, χωρίς ωστόσο ένα χτύπημα απόδοσης. Αυτό ήταν κρίσιμο. Ξεκινήσαμε με διάφορες ροές εργασίας και, στο τέλος, καταλήξαμε στη βελτιστοποίηση των παραμέτρων του συστήματος για να ξεπεράσουμε το πρόβλημα.»

Οι συνεργάτες ήθελαν να προσφέρουν έναν σαφή διαχωρισμό προσκηνίου και φόντου ακόμα κι αν τα αντικείμενα είναι κοντά το ένα στο άλλο. Κι αυτό αποδείχτηκε δύσκολο. Και μετά υπήρχε motion blur.

 «Το Motion blur», εξηγεί η Acharya, «είναι μια παράμετρος που πρέπει να ελαχιστοποιηθεί και δεν είναι συγκεκριμένη για την τεχνολογία. Η κάμερα χρόνου πτήσης χρησιμοποιεί καθολικό κλείστρο, το οποίο έχει βοηθήσει σημαντικά στη μείωση του θαμπώματος κίνησης—από 65 χιλιοστά του δευτερολέπτου στο αρχικό Kinect σε λιγότερα από 14 χιλιοστά του δευτερολέπτου τώρα».

Άλλες προκλήσεις παρουσιάστηκαν. Για ένα πράγμα, ο χρόνος επεξεργασίας έγινε ζήτημα. Στην ακαδημαϊκή βιβλιογραφία σχετικά με τα συστήματα χρόνου πτήσης, ο χρόνος επεξεργασίας δεν ήταν πρόβλημα. Στο εργαστηριακό περιβάλλον, η τεχνολογία λειτούργησε καλά. Ωστόσο, το Xbox One χρειάζεται να επεξεργαστεί 6.5 εκατομμύρια pixel ανά δευτερόλεπτο. Και μόνο ένα μικρό μέρος της υπολογιστικής ισχύος του Xbox One θα μπορούσε να αξιοποιηθεί για αυτήν την εργασία. Η μερίδα του λέοντος προορίζεται, όπως είναι κατανοητό, για βασικά πράγματα όπως το παιχνίδι, η παρακολούθηση σκελετών, η αναγνώριση προσώπου και ο ήχος.

«Πρέπει να κάνετε πολύ, πολύ ελαφρύ υπολογισμό για κάθε pixel», λέει ο Krupka, «και αυτό είναι ένα από τα πράγματα που έκαναν το πρόβλημα δύσκολο και διαφορετικό από την τυπική προσέγγιση στην ακαδημαϊκή βιβλιογραφία σε αυτόν τον τομέα».

Αξιοσημείωτα, όλα συνδυάστηκαν και αυτό σημαίνει ότι ενώ οι λάτρεις της ψυχαγωγίας σε όλο τον κόσμο θα βρεθούν σύντομα ενθουσιασμένοι από την εμπειρία του Xbox One, το ίδιο θα κάνουν και όσοι θέλουν να αναπτυχθούν για την πλατφόρμα. Η μείωση αυτού του θορύβου των δεδομένων άκρης καθιστά τον προγραμματιστή δεδομένων έτοιμο και η δυνατότητα καθαρής τμηματοποίησης μεταξύ του προσκηνίου και του παρασκηνίου επιλύει ένα περίπλοκο υπολογιστικό πρόβλημα. Τα δεδομένα είναι καθαρά και μπορούν να απορροφηθούν πιο εύκολα από τους προγραμματιστές παιχνιδιών.

Ένα άλλο συναρπαστικό χαρακτηριστικό της συσκευής ανίχνευσης Kinect στο Xbox One πηγάζει από τον αισθητήρα υπερύθρων, ο οποίος μπορεί να αναγνωρίσει αντικείμενα σε ένα εντελώς σκοτεινό δωμάτιο. Μπορεί να αναγνωρίσει ανθρώπους και να παρακολουθεί σώματα ακόμη και χωρίς φως ορατό με γυμνό μάτι. Μπορεί να αναγνωρίσει μια στάση χεριού από τέσσερα μέτρα μακριά, να δει τα δάχτυλα ενός παιδιού και να θυμηθεί την ταυτότητά σας ακόμη και μείον τον φωτισμό του δωματίου.

Το ευρύτερο οπτικό πεδίο επιτρέπει σε περισσότερους παίκτες να παίζουν ένα παιχνίδι Xbox One ταυτόχρονα. Με τη νέα κονσόλα, έως και έξι παίκτες μπορούν να συνωστιστούν σε μια σκηνή. Ένας ψηλός ενήλικας μπορεί να παίξει με ένα μικρό παιδί χωρίς να στριμωχθεί από την εικόνα. Οι χρήστες απολαμβάνουν καλύτερη εμπειρία αν βρίσκονται κοντά, πιο μακριά ή στην περιφέρεια του δωματίου.

Και η βελτιωμένη αναγνώριση πόζας χεριού επιτρέπει στους χρήστες να αλληλεπιδρούν με το Xbox One χρησιμοποιώντας απλώς τα χέρια τους—δεν χρειάζεται χειριστήριο. Χάρη στην υπέρυθρη κάμερα, οι δραστηριότητες των χεριών μπορούν να αναγνωριστούν σε οποιονδήποτε φωτισμό ή με κανέναν. Οι προηγούμενες λύσεις πόζας στο χέρι ήταν σε θέση να προσφέρουν ταχύτητα ή ακρίβεια, αλλά όχι και τα δύο. Η λύση πόζας χεριού που επινοήθηκε από κοινού από την ομάδα Xbox και τη Microsoft Research μπορεί να κάνει και τα δύο.

πηγή: Το επίσημο ιστολόγιο της Microsoft