A Facebook felveszi a Microsoft Mesh-t az új Presence Platformmal

A Facebook (jelenleg Meta) ma bejelentette az új Presence platformot, amely lehetővé teszi a fejlesztők számára, hogy új vegyes valóság élményeket hozzanak létre. A Presence platform versenyezni fog a Microsoft Mesh platformjával bejelentés az év elején. A Presence Platform képességei közé tartozik a Passthrough, a Spatial Anchors és a Scene Understanding.

Insight SDK

Ma bejelentjük Insight SDK, amely lehetővé teszi, hogy vegyes valóságú élményeket építsen fel, amelyek valósághű jelenlétérzetet keltenek.

Ez év elején mi bevezette a Passthrough API Experimental alkalmazást, amely lehetővé teszi, hogy olyan élményeket építsen, amelyek a virtuális tartalmat vegyítik a fizikai világgal. Ma bejelentjük a Passthrough általános elérhetőségét következő kiadásunkban, ami azt jelenti, hogy a Passthrough képességekkel építeni, tesztelni és szállítani fogsz tapasztalatokat.

Bejelentjük továbbá a Spatial Anchor-okat, a világra zárt referenciakereteket, amelyek lehetővé teszik, hogy virtuális tartalmat helyezzen el egy fizikai térben, amelyet a munkamenetek során is meg lehet őrizni. A hamarosan elérhető Spatial Anchors Experimental segítségével térbeli horgonyokat hozhat létre meghatározott 6DoF pózoknál, nyomon követheti a 6DoF pózt a headsethez képest, megőrizheti a térbeli horgonyokat az eszközön, és lekérheti a jelenleg nyomon követett térbeli horgonyok listáját.

Egy újat is bejelentünk Jelenet megértése képesség. Az áteresztéssel és a térbeli horgonyokkal együtt a Scene Understanding lehetővé teszi, hogy gyorsan építsen fel olyan összetett és jelenet-tudatos élményeket, amelyek gazdag interakciót biztosítanak a felhasználó környezetével. A Scene Understanding részeként a jelenetmodell geometriai és szemantikai megjelenítést biztosít a felhasználó teréről, így szobaléptékű vegyes valóságélményeket építhet fel. A Scene Model a fizikai világ egyetlen, átfogó, naprakész reprezentációja, amely indexelhető és lekérdezhető. Például rögzíthet egy virtuális képernyőt a felhasználó falához, vagy egy virtuális karaktert navigálhat a padlón valósághű elzárással. Ezenkívül valós, fizikai tárgyakat hozhat a VR-be. A jelenetmodell létrehozásához rendszervezérelt jelenetrögzítési folyamatot biztosítunk, amely lehetővé teszi a felhasználók számára, hogy körbejárják és rögzítsék a jelenetüket. Izgatottan várjuk, hogy a jövő év elején kísérleti lehetőségként elérhetővé tegyük a Scene Understanding képességeket.

Az Insight SDK új Passthrough, Spatial Anchors és Scene Understanding képességeivel olyan vegyes valóságos élményeket hozhat létre, amelyek ötvözik a virtuális tartalmat a fizikai világgal, új lehetőségeket teremtve a közösségi kapcsolatok, szórakozás, termelékenység és egyebek terén.

Fontos számunkra az emberek fizikai terének magánéletének védelme. A Passthrough-t, a Spatial Anchors-t és a Scene Understanding-t úgy terveztük meg, hogy a fejlesztők olyan élményeket hozzanak létre, amelyek ötvözik a fizikai és a virtuális környezetet anélkül, hogy hozzá kellene férniük a Quest-érzékelők nyers képeihez vagy videóihoz.

Interakciós SDK

Az Interaction SDK segítségével könnyebbé tesszük a kezek és a vezérlőközpontú interakciók integrálását. A jövő év elején elérhető Unity-könyvtár használatra kész, robusztus interakciós komponensek készletével érkezik, mint például a megragadás, a piszkálás, a célzás és a kiválasztás. Minden komponens használható együtt, függetlenül, vagy akár más interakciós keretekbe integrálva. Az Interaction SDK megoldja a számítógépes látás alapú kézkövetéssel kapcsolatos nehéz interakciós kihívásokat, szabványosított interakciós mintákat kínál, és megakadályozza a regressziókat a technológia fejlődésével. Végül, de nem utolsósorban olyan eszközöket biztosít, amelyek segítségével saját egyéni gesztusokat is elkészíthet.

Az adatvédelem, amelyet mindig is kínáltunk Kézkövetés jelentkezz itt. Az Ön kezére jellemző képek és becsült pontok a feldolgozás után törlődnek, és nem tárolódnak a szervereinken.

Nyomon követett billentyűzet SDK

Tavaly bejelentettük a Nyomvonalas billentyűzet képesség a fejlesztők számára. Keményen dolgozunk azon, hogy elindítsuk a Tracked Keyboard SDK-t, és jó úton haladunk, hogy jövő év elején adjuk ki a Presence Platform részeként.

Voice SDK kísérleti

Mi is bejelentjük Voice SDK kísérleti, amely elérhető a következő kiadásunkban, így elkezdheti az építést és a kísérletezést. A Voice SDK természetes nyelvi képességek készlete, amelyek segítségével kihangosított navigációt és új, hangvezérelt játékmenetet hozhat létre. A Voice SDK segítségével létrehozhat hangos navigációt és keresést, vagy engedélyezheti a Voice GYIK funkciót, hogy a felhasználók segítséget vagy emlékeztetőt kérhessenek. Új Voice-Drive játékmenetet is lehetővé teszünk – például csatát nyerhetsz hangvezérelt varázslattal, vagy beszélgethetsz egy karakterrel vagy avatárral. A Voice SDK-t a Facebook Wit.ai természetes nyelvi platformja működteti, és ingyenes a regisztráció és az indulás.

Forrás: Facebook