Facebook neemt het op tegen Microsoft Mesh met het nieuwe Presence Platform

Facebook (nu bekend als Meta) heeft vandaag het nieuwe Presence-platform aangekondigd waarmee ontwikkelaars nieuwe mixed reality-ervaringen kunnen creëren. Het Presence-platform zal concurreren met het Mesh-platform van Microsoft, dat was aangekondigd begin dit jaar. Presence Platform-mogelijkheden omvatten Passthrough, Spatial Anchors en Scene Understanding.

Insight-SDK

Vandaag kondigen we aan Insight-SDK, waarmee u mixed reality-ervaringen kunt creëren die een realistisch gevoel van aanwezigheid creëren.

Eerder dit jaar hebben we introduceerde Passthrough API Experimental, waarmee u ervaringen kunt opbouwen die virtuele inhoud combineren met de fysieke wereld. Vandaag kondigen we de algemene beschikbaarheid van Passthrough aan in onze volgende release, wat betekent dat je ervaringen met Passthrough-mogelijkheden kunt bouwen, testen en verzenden.

We kondigen ook Spatial Anchors aan, wereld-vergrendelde referentiekaders waarmee u virtuele inhoud in een fysieke ruimte kunt plaatsen die gedurende verschillende sessies kan worden bewaard. Met Spatial Anchors Experimental, binnenkort beschikbaar, kun je ruimtelijke ankers maken bij specifieke 6DoF-houdingen, de 6DoF-houding volgen ten opzichte van de headset, Spatial Anchors op het apparaat behouden en een lijst ophalen van momenteel bijgehouden ruimtelijke ankers.

We kondigen ook een nieuwe aan Scène Begrijpen vermogen. Samen met Passthrough en Spatial Anchors stelt Scene Understanding u in staat om snel complexe en scene-bewuste ervaringen op te bouwen die een rijke interactie hebben met de omgeving van de gebruiker. Als onderdeel van Scene Understanding biedt Scene Model een geometrische en semantische weergave van de ruimte van de gebruiker, zodat u mixed reality-ervaringen op kamerschaal kunt creëren. Scene Model is een enkele, uitgebreide, up-to-date weergave van de fysieke wereld die indexeerbaar en opvraagbaar is. U kunt bijvoorbeeld een virtueel scherm aan de muur van de gebruiker bevestigen of een virtueel personage op de vloer laten navigeren met realistische occlusie. Verder kun je echte, fysieke objecten in VR brengen. Om dit scènemodel te maken, bieden we een systeemgestuurde scèneopnamestroom waarmee gebruikers rond kunnen lopen en hun scène kunnen vastleggen. We zijn verheugd om Scene Understanding-mogelijkheden begin volgend jaar beschikbaar te stellen als experimentele mogelijkheid.

Met de nieuwe mogelijkheden Passthrough, Spatial Anchors en Scene Understanding in Insight SDK kun je mixed reality-ervaringen bouwen die virtuele inhoud combineren met de fysieke wereld, waardoor nieuwe mogelijkheden ontstaan ​​voor sociale verbinding, entertainment, productiviteit en meer.

Het beschermen van de privacy van de fysieke ruimte van mensen is belangrijk voor ons. We hebben Passthrough, Spatial Anchors en Scene Understanding ontworpen zodat ontwikkelaars ervaringen kunnen creëren die de fysieke en virtuele omgeving combineren zonder toegang tot de onbewerkte afbeeldingen of video's van je Quest-sensoren.

Interactie SDK

Met Interaction SDK maken we het gemakkelijker voor u om hands- en controllergerichte interacties te integreren. De Unity-bibliotheek, die begin volgend jaar beschikbaar is, wordt geleverd met een set kant-en-klare, robuuste interactiecomponenten zoals grijpen, porren, richten en selecteren. Alle componenten kunnen samen, onafhankelijk of zelfs geïntegreerd worden in andere interactiekaders. Interaction SDK lost veel van de moeilijke interactie-uitdagingen op die verband houden met op computervisie gebaseerde Hand Tracking, biedt gestandaardiseerde interactiepatronen en voorkomt regressie naarmate de technologie evolueert. Last but not least biedt het tools waarmee u ook uw eigen aangepaste gebaren kunt maken.

De gegevensbescherming die we altijd al hebben aangeboden Hand volgen Voeg hier toe. De afbeeldingen en geschatte punten die specifiek zijn voor uw handen worden verwijderd na verwerking en worden niet opgeslagen op onze servers.

Bijgehouden toetsenbord SDK

Vorig jaar kondigden we een Bijgehouden toetsenbord mogelijkheden voor ontwikkelaars. We zijn hard aan het werk om een ​​Tracked Keyboard SDK te lanceren, en we liggen op schema om deze begin volgend jaar uit te brengen als onderdeel van Presence Platform.

Voice SDK Experimenteel

We kondigen ook aan Voice SDK Experimenteel, beschikbaar in onze volgende release, zodat u kunt beginnen met bouwen en experimenteren. Voice SDK is een set natuurlijke taalmogelijkheden waarmee je handsfree navigatie en nieuwe spraakgestuurde gameplay kunt creëren. Met Voice SDK kunt u spraaknavigatie en zoeken maken of veelgestelde vragen over spraak inschakelen zodat gebruikers om hulp of een herinnering kunnen vragen. We maken ook nieuwe Voice-Drive Gameplay mogelijk, zoals het winnen van een gevecht met een spraakgestuurde magische spreuk of praten met een personage of avatar. Voice SDK wordt mogelijk gemaakt door het natuurlijke taalplatform Wit.ai van Facebook en het is gratis om u aan te melden en aan de slag te gaan.

Bron: Facebook