Το Facebook αναλαμβάνει το Microsoft Mesh με τη νέα πλατφόρμα Presence

Το Facebook (γνωστό πλέον ως Meta) ανακοίνωσε σήμερα τη νέα πλατφόρμα Presence που θα επιτρέψει στους προγραμματιστές να δημιουργήσουν νέες εμπειρίες μικτής πραγματικότητας. Η πλατφόρμα Presence θα ανταγωνιστεί την πλατφόρμα Mesh της Microsoft που ήταν ανακοίνωσε αρχές του τρέχοντος έτους. Οι δυνατότητες της πλατφόρμας παρουσίας περιλαμβάνουν Passthrough, Spatial Anchors και Scene Understanding.

Insight SDK

Σήμερα, ανακοινώνουμε Insight SDK, δίνοντάς σας τη δυνατότητα να δημιουργήσετε εμπειρίες μικτής πραγματικότητας που δημιουργούν μια ρεαλιστική αίσθηση παρουσίας.

Νωρίτερα φέτος, εμείς παρουσίασε το Passthrough API Experimental, δίνοντάς σας τη δυνατότητα να δημιουργήσετε εμπειρίες που συνδυάζουν εικονικό περιεχόμενο με τον φυσικό κόσμο. Σήμερα, ανακοινώνουμε τη γενική διαθεσιμότητα του Passthrough στην επόμενη κυκλοφορία μας, πράγμα που σημαίνει ότι θα μπορείτε να δημιουργήσετε, να δοκιμάσετε και να αποστείλετε εμπειρίες με τις δυνατότητες Passthrough.

Ανακοινώνουμε επίσης τα Spatial Anchors, τα παγκοσμιοποιημένα πλαίσια αναφοράς που θα σας επιτρέψουν να τοποθετήσετε εικονικό περιεχόμενο σε έναν φυσικό χώρο που μπορεί να διατηρηθεί σε όλες τις περιόδους σύνδεσης. Με το Spatial Anchors Experimental, διαθέσιμο σύντομα, θα μπορείτε να δημιουργήσετε Spatial Anchors σε συγκεκριμένες στάσεις 6DoF, να παρακολουθείτε τη στάση 6DoF σε σχέση με το σετ μικροφώνου-ακουστικού, να διατηρήσετε Spatial Anchors στη συσκευή και να ανακτήσετε μια λίστα με τις τρέχουσες χωρικές αγκυρώσεις.

Ανακοινώνουμε επίσης ένα νέο Κατανόηση Σκηνής ικανότητα. Μαζί με το Passthrough και το Spatial Anchors, το Scene Understanding σάς επιτρέπει να δημιουργείτε γρήγορα σύνθετες εμπειρίες με επίγνωση σκηνής που έχουν πλούσιες αλληλεπιδράσεις με το περιβάλλον του χρήστη. Ως μέρος του Scene Understanding, το Scene Model παρέχει μια γεωμετρική και σημασιολογική αναπαράσταση του χώρου του χρήστη, ώστε να μπορείτε να δημιουργήσετε εμπειρίες μικτής πραγματικότητας σε κλίμακα δωματίου. Το Scene Model είναι μια ενιαία, περιεκτική, ενημερωμένη αναπαράσταση του φυσικού κόσμου που μπορεί να ευρετηριαστεί και μπορεί να αναζητηθεί. Για παράδειγμα, μπορείτε να προσαρτήσετε μια εικονική οθόνη στον τοίχο του χρήστη ή να πλοηγήσετε έναν εικονικό χαρακτήρα στο πάτωμα με ρεαλιστική απόφραξη. Επιπλέον, μπορείτε να φέρετε πραγματικά, φυσικά αντικείμενα στο VR. Για να δημιουργήσουμε αυτό το μοντέλο σκηνής, παρέχουμε μια ροή καταγραφής σκηνής καθοδηγούμενη από το σύστημα που επιτρέπει στους χρήστες να περπατούν και να καταγράφουν τη σκηνή τους. Είμαστε ενθουσιασμένοι που διαθέτουμε τις δυνατότητες Scene Understanding ως πειραματική ικανότητα στις αρχές του επόμενου έτους.

Με τις νέες δυνατότητες Passthrough, Spatial Anchors και Scene Understanding στο Insight SDK, θα μπορείτε να δημιουργήσετε εμπειρίες μικτής πραγματικότητας που συνδυάζουν εικονικό περιεχόμενο με τον φυσικό κόσμο, δημιουργώντας νέες δυνατότητες για κοινωνική σύνδεση, ψυχαγωγία, παραγωγικότητα και πολλά άλλα.

Η προστασία του απορρήτου του φυσικού χώρου των ανθρώπων είναι σημαντική για εμάς. Σχεδιάσαμε το Passthrough, το Spatial Anchors και το Scene Understanding, έτσι ώστε οι προγραμματιστές να μπορούν να δημιουργούν εμπειρίες που συνδυάζουν το φυσικό και το εικονικό περιβάλλον χωρίς να χρειάζονται πρόσβαση στις ακατέργαστες εικόνες ή βίντεο από τους αισθητήρες Quest.

SDK αλληλεπίδρασης

Με το Interaction SDK, σας διευκολύνουμε να ενσωματώσετε αλληλεπιδράσεις με χέρια και ελεγκτές. Η βιβλιοθήκη Unity, διαθέσιμη στις αρχές του επόμενου έτους, θα συνοδεύεται από ένα σύνολο έτοιμα προς χρήση, ισχυρών στοιχείων αλληλεπίδρασης όπως το grab, το poke, το target and select. Όλα τα στοιχεία μπορούν να χρησιμοποιηθούν μαζί, ανεξάρτητα ή ακόμη και να ενσωματωθούν σε άλλα πλαίσια αλληλεπίδρασης. Το SDK αλληλεπίδρασης επιλύει πολλές από τις δύσκολες προκλήσεις αλληλεπίδρασης που συνδέονται με την παρακολούθηση χεριών που βασίζεται στην όραση, προσφέρει τυποποιημένα μοτίβα αλληλεπίδρασης και αποτρέπει τις παλινδρομήσεις καθώς εξελίσσεται η τεχνολογία. Τελευταίο αλλά εξίσου σημαντικό, παρέχει εργαλεία που θα σας βοηθήσουν να δημιουργήσετε και τις δικές σας προσαρμοσμένες χειρονομίες.

Οι προστασίες δεδομένων που πάντα προσφέραμε Παρακολούθηση χεριών κάντε αίτηση εδώ. Οι εικόνες και τα εκτιμώμενα σημεία ειδικά για τα χέρια σας διαγράφονται μετά την επεξεργασία και δεν αποθηκεύονται στους διακομιστές μας.

SDK πληκτρολογίου παρακολούθησης

Πέρυσι, ανακοινώσαμε α Πληκτρολόγιο παρακολούθησης δυνατότητα για προγραμματιστές. Δουλεύουμε σκληρά για να κυκλοφορήσουμε ένα SDK πληκτρολογίου παρακολούθησης και είμαστε σε καλό δρόμο να το κυκλοφορήσουμε στις αρχές του επόμενου έτους ως μέρος της πλατφόρμας Presence.

Πειραματικό SDK φωνής

Ανακοινώνουμε επίσης Πειραματικό SDK φωνής, διαθέσιμο στην επόμενη κυκλοφορία μας, ώστε να μπορείτε να αρχίσετε να δημιουργείτε και να πειραματίζεστε. Το Voice SDK είναι ένα σύνολο δυνατοτήτων φυσικής γλώσσας που σας επιτρέπουν να δημιουργείτε πλοήγηση hands-free και νέο παιχνίδι που βασίζεται στη φωνή. Με το Voice SDK, μπορείτε να δημιουργήσετε Φωνητική πλοήγηση και αναζήτηση ή να ενεργοποιήσετε τις Φωνητικές Συνήθεις ερωτήσεις για να επιτρέψετε στους χρήστες να ζητήσουν βοήθεια ή υπενθύμιση. Ενεργοποιούμε επίσης το νέο παιχνίδι Voice-Drive—όπως να κερδίσετε μια μάχη με ένα μαγικό ξόρκι που ενεργοποιείται με φωνή ή να μιλήσετε με έναν χαρακτήρα ή ένα avatar. Το Voice SDK υποστηρίζεται από την πλατφόρμα φυσικής γλώσσας Wit.ai του Facebook και είναι δωρεάν να εγγραφείτε και να ξεκινήσετε.

πηγή: Facebook