Facebook preberá Microsoft Mesh s novou platformou Presence

Facebook (teraz známy ako Meta) dnes oznámil novú platformu Presence, ktorá umožní vývojárom vytvárať nové zážitky so zmiešanou realitou. Platforma Presence bude konkurovať platforme Mesh od Microsoftu, ktorá bola oznámila, začiatkom tohto roka. Možnosti platformy prítomnosti zahŕňajú Passthrough, Spatial Anchors a Scene Understanding.

Insight SDK

Dnes to oznamujeme Insight SDK, čo vám umožňuje vytvárať zážitky so zmiešanou realitou, ktoré vytvárajú realistický pocit prítomnosti.

Začiatkom tohto roka sme predstavil Passthrough API Experimental, čo vám umožní vytvárať zážitky, ktoré spájajú virtuálny obsah s fyzickým svetom. Dnes oznamujeme všeobecnú dostupnosť Passthrough v našom ďalšom vydaní, čo znamená, že budete môcť vytvárať, testovať a odosielať skúsenosti s funkciami Passthrough.

Oznamujeme tiež priestorové kotvy, celosvetovo uzamknuté referenčné rámce, ktoré vám umožnia umiestniť virtuálny obsah do fyzického priestoru, ktorý možno zachovať počas relácií. S priestorovými kotvami Experimental, ktoré budú čoskoro k dispozícii, budete môcť vytvárať priestorové kotvy v konkrétnych pozíciách 6DoF, sledovať polohu 6DoF vzhľadom na náhlavnú súpravu, uchovávať priestorové kotvy na zariadení a získať zoznam aktuálne sledovaných priestorových kotiev.

Oznamujeme aj novinku Pochopenie scény schopnosti. Spolu s Passthrough a Spatial Anchors vám Scene Understanding umožňuje rýchlo vytvárať komplexné a scénické zážitky, ktoré majú bohaté interakcie s prostredím používateľa. Ako súčasť porozumenia scén poskytuje Scene Model geometrickú a sémantickú reprezentáciu priestoru používateľa, takže si môžete vytvoriť skúsenosti so zmiešanou realitou v mierke miestnosti. Scene Model je jediná, komplexná, aktuálna reprezentácia fyzického sveta, ktorá je indexovateľná a dotazovateľná. Môžete napríklad pripevniť virtuálnu obrazovku na stenu používateľa alebo nechať virtuálnu postavu pohybovať sa po podlahe s realistickou oklúziou. Ďalej môžete do VR preniesť fyzické predmety zo skutočného života. Na vytvorenie tohto modelu scény poskytujeme systémový postup snímania scény, ktorý používateľom umožňuje prechádzať sa a zachytávať svoju scénu. Sme nadšení, že začiatkom budúceho roka sprístupníme možnosti Scene Understanding ako experimentálnu funkciu.

S novými funkciami Passthrough, Spatial Anchors a Scene Understanding v súprave Insight SDK budete môcť vytvárať zážitky so zmiešanou realitou, ktoré spájajú virtuálny obsah s fyzickým svetom a vytvárajú nové možnosti pre sociálne spojenie, zábavu, produktivitu a ďalšie.

Ochrana súkromia fyzického priestoru ľudí je pre nás dôležitá. Navrhli sme Passthrough, Spatial Anchors a Scene Understanding tak, aby vývojári mohli vytvárať zážitky, ktoré spájajú fyzické a virtuálne prostredie bez toho, aby potrebovali prístup k nespracovaným obrázkom alebo videám z vašich Quest senzorov.

Interaction SDK

Pomocou súpravy Interaction SDK vám uľahčujeme integráciu interakcií zameraných na ruky a ovládač. Knižnica Unity, ktorá bude k dispozícii začiatkom budúceho roka, príde so súpravou robustných komponentov interakcie pripravených na použitie, ako je grab, poke, target a select. Všetky komponenty môžu byť použité spoločne, nezávisle alebo dokonca integrované do iných interakčných rámcov. Interaction SDK rieši mnoho náročných interakčných výziev spojených so sledovaním rúk založeným na počítačovom videní, ponúka štandardizované vzorce interakcie a zabraňuje regresii, keď sa technológia vyvíja. V neposlednom rade poskytuje nástroje, ktoré vám pomôžu vytvoriť si vlastné gestá.

Ochrana údajov, ktorú sme vždy ponúkali Ručné sledovanie uplatniť tu. Obrázky a odhadované body špecifické pre vaše ruky sú po spracovaní vymazané a nie sú uložené na našich serveroch.

SDK sledovanej klávesnice

Minulý rok sme oznámili a Sledovaná klávesnica schopnosti pre vývojárov. Usilovne pracujeme na spustení súpravy Tracked Keyboard SDK a sme na dobrej ceste, aby sme ju vydali začiatkom budúceho roka ako súčasť platformy Presence Platform.

Experimentálna súprava Voice SDK

Tiež oznamujeme Experimentálna súprava Voice SDK, ktorá je k dispozícii v našom ďalšom vydaní, takže môžete začať stavať a experimentovať. Voice SDK je sada funkcií prirodzeného jazyka, ktoré vám umožňujú vytvárať hands-free navigáciu a nové hlasové hry. Pomocou súpravy Voice SDK môžete vytvoriť hlasovú navigáciu a vyhľadávanie alebo povoliť hlasové často kladené otázky, aby ste používateľom umožnili požiadať o pomoc alebo pripomenutie. Umožňujeme tiež novú hru s hlasovým ovládaním – napríklad víťazstvo v bitke pomocou hlasom aktivovaného magického kúzla alebo rozhovor s postavou či avatarom. Voice SDK využíva platformu prirodzeného jazyka Wit.ai od Facebooku a môžete sa bezplatne zaregistrovať a začať.

zdroj: facebook