Facebook tager imod Microsoft Mesh med den nye tilstedeværelsesplatform

Facebook (nu kendt som Meta) annoncerede i dag den nye tilstedeværelsesplatform, som vil give udviklere mulighed for at skabe nye mixed reality-oplevelser. Tilstedeværelsesplatformen vil konkurrere med Microsofts Mesh-platform, som var annoncerede tidligt i år. Tilstedeværelsesplatformens funktioner omfatter Passthrough, Spatial Anchors og Scene Understanding.

Insight SDK

I dag annoncerer vi Insight SDK, hvilket gør dig i stand til at bygge blandede virkelighedsoplevelser, der skaber en realistisk følelse af nærvær.

Tidligere i år har vi introducerede Passthrough API Experimental, så du kan bygge oplevelser, der blander virtuelt indhold med den fysiske verden. I dag annoncerer vi generel tilgængelighed af Passthrough i vores næste udgivelse, hvilket betyder, at du vil være i stand til at bygge, teste og sende oplevelser med Passthrough-funktioner.

Vi annoncerer også Spatial Anchors, verdenslåste referencerammer, der vil gøre dig i stand til at placere virtuelt indhold i et fysisk rum, der kan fortsættes på tværs af sessioner. Med Spatial Anchors Experimental, som snart er tilgængelig, vil du være i stand til at oprette Spatial Anchors ved specifikke 6DoF-positioner, spore 6DoF-positionen i forhold til headsettet, vedholde Spatial Anchors på enheden og hente en liste over aktuelt sporede Spatial Anchors.

Vi annoncerer også en ny Sceneforståelse evne. Sammen med Passthrough og Spatial Anchors giver Scene Understanding dig mulighed for hurtigt at bygge komplekse og scenebevidste oplevelser, der har rig interaktion med brugerens miljø. Som en del af Scene Understanding giver Scene Model en geometrisk og semantisk repræsentation af brugerens rum, så du kan bygge rum-skala mixed reality-oplevelser. Scene Model er en enkelt, omfattende, opdateret repræsentation af den fysiske verden, der kan indekseres og forespørges. Du kan for eksempel fastgøre en virtuel skærm til brugerens væg eller få en virtuel karakter til at navigere på gulvet med realistisk okklusion. Yderligere kan du bringe virkelige, fysiske objekter ind i VR. For at skabe denne Scene Model tilbyder vi et systemstyret Scene Capture flow, der lader brugere gå rundt og fange deres scene. Vi er glade for at gøre Scene Understanding-funktioner tilgængelige som en eksperimentel kapacitet i begyndelsen af ​​næste år.

Med de nye Passthrough-, Spatial Anchors- og Scene Understanding-funktioner i Insight SDK vil du være i stand til at bygge mixed reality-oplevelser, der blander virtuelt indhold med den fysiske verden og skaber nye muligheder for social forbindelse, underholdning, produktivitet og mere.

Beskyttelse af privatlivets fred i menneskers fysiske rum er vigtigt for os. Vi har designet Passthrough, Spatial Anchors og Scene Understanding, så udviklere kan skabe oplevelser, der blander de fysiske og virtuelle omgivelser uden at skulle have adgang til de rå billeder eller videoer fra dine Quest-sensorer.

Interaktions-SDK

Med Interaction SDK gør vi det nemmere for dig at integrere hænder og controller-centrerede interaktioner. Unity-biblioteket, der er tilgængeligt i begyndelsen af ​​næste år, kommer med et sæt klar til brug, robuste interaktionskomponenter som grab, poke, target og select. Alle komponenter kan bruges sammen, uafhængigt eller endda integreret i andre interaktionsrammer. Interaction SDK løser mange af de svære interaktionsudfordringer, der er knyttet til computervision baseret Hand Tracking, tilbyder standardiserede interaktionsmønstre og forhindrer regression, efterhånden som teknologien udvikler sig. Sidst, men ikke mindst, giver det værktøj til at hjælpe dig med at bygge dine egne brugerdefinerede bevægelser.

De databeskyttelser, vi altid har tilbudt omkring Håndsporing ansøg her. Billederne og estimerede point, der er specifikke for dine hænder, slettes efter behandling og gemmes ikke på vores servere.

Sporet tastatur SDK

Sidste år annoncerede vi en Sporet tastatur kapacitet for udviklere. Vi arbejder hårdt på at lancere et Tracked Keyboard SDK, og vi er på vej til at frigive det tidligt næste år som en del af Presence Platform.

Voice SDK Eksperimentel

Vi annoncerer også Voice SDK Eksperimentel, tilgængelig i vores næste udgivelse, så du kan begynde at bygge og eksperimentere. Voice SDK er et sæt naturlige sprogegenskaber, der lader dig skabe håndfri navigation og nyt stemmedrevet gameplay. Med Voice SDK kan du oprette Voice Navigation & Search eller aktivere Voice FAQ for at tillade brugere at bede om hjælp eller en påmindelse. Vi aktiverer også nyt Voice-Drive-spil – som at vinde en kamp med en stemmeaktiveret trylleformular eller tale med en karakter eller avatar. Voice SDK er drevet af Facebooks Wit.ai naturlige sprogplatform, og det er gratis at tilmelde sig og komme i gang.

Kilde: Facebook