Facebook enfrenta o Microsoft Mesh com a nova plataforma de presença

O Facebook (agora conhecido como Meta) anunciou hoje a nova plataforma Presence que permitirá aos desenvolvedores criar novas experiências de realidade mista. A plataforma Presence competirá com a plataforma Mesh da Microsoft, que foi anunciou início deste ano. Os recursos da plataforma de presença incluem passagem, âncoras espaciais e compreensão de cena.

SDK do Insight

Hoje, estamos anunciando SDK do Insight, permitindo que você crie experiências de realidade mista que criam uma sensação realista de presença.

No início deste ano, nós introduziu a API de passagem experimental, permitindo que você crie experiências que combinam conteúdo virtual com o mundo físico. Hoje, estamos anunciando a disponibilidade geral do Passthrough em nossa próxima versão, o que significa que você poderá criar, testar e enviar experiências com os recursos do Passthrough.

Também estamos anunciando Âncoras Espaciais, quadros de referência bloqueados para o mundo que permitirão que você coloque conteúdo virtual em um espaço físico que pode ser mantido entre as sessões. Com o Spatial Anchors Experimental, disponível em breve, você poderá criar Spatial Anchors em poses 6DoF específicas, rastrear a pose 6DoF relativa ao fone de ouvido, persistir Spatial Anchors no dispositivo e recuperar uma lista de Spatial Anchors atualmente rastreadas.

Também estamos anunciando um novo Compreensão da cena capacidade. Juntamente com Passthrough e Spatial Anchors, o Scene Understanding permite que você crie rapidamente experiências complexas e com reconhecimento de cena que tenham interações ricas com o ambiente do usuário. Como parte do Scene Understanding, o Scene Model fornece uma representação geométrica e semântica do espaço do usuário, para que você possa criar experiências de realidade mista em escala de sala. O Scene Model é uma representação única, abrangente e atualizada do mundo físico que é indexável e consultável. Por exemplo, você pode anexar uma tela virtual à parede do usuário ou fazer com que um personagem virtual navegue no chão com oclusão realista. Além disso, você pode trazer objetos físicos da vida real para VR. Para criar este modelo de cena, fornecemos um fluxo de captura de cena guiado pelo sistema que permite que os usuários caminhem e capturem sua cena. Estamos empolgados em disponibilizar os recursos do Scene Understanding como um recurso experimental no início do próximo ano.

Com os novos recursos Passthrough, Spatial Anchors e Scene Understanding no Insight SDK, você poderá criar experiências de realidade mista que combinam conteúdo virtual com o mundo físico, criando novas possibilidades de conexão social, entretenimento, produtividade e muito mais.

Proteger a privacidade do espaço físico das pessoas é importante para nós. Projetamos Passthrough, Spatial Anchors e Scene Understanding para que os desenvolvedores possam criar experiências que combinem o ambiente físico e virtual sem precisar acessar as imagens ou vídeos brutos de seus sensores Quest.

SDK de interação

Com o Interaction SDK, estamos tornando mais fácil para você integrar as mãos e as interações centradas no controlador. A biblioteca Unity, disponível no início do próximo ano, virá com um conjunto de componentes de interação robustos e prontos para uso, como agarrar, cutucar, apontar e selecionar. Todos os componentes podem ser usados ​​juntos, de forma independente ou até mesmo integrados a outros frameworks de interação. O Interaction SDK resolve muitos dos difíceis desafios de interação ligados ao Hand Tracking baseado em visão computacional, oferece padrões de interação padronizados e evita regressões à medida que a tecnologia evolui. Por último, mas não menos importante, ele fornece ferramentas para ajudá-lo a criar seus próprios gestos personalizados também.

As proteções de dados que sempre oferecemos por aí Rastreamento manual aplique aqui. As imagens e pontos estimados específicos de suas mãos são excluídos após o processamento e não são armazenados em nossos servidores.

SDK de teclado rastreado

No ano passado, anunciamos um Teclado rastreado capacidade para desenvolvedores. Estamos trabalhando duro para lançar um SDK de teclado rastreado e estamos a caminho de lançá-lo no início do próximo ano como parte da Presence Platform.

Experimental do SDK de voz

Também estamos anunciando Experimental do SDK de voz, disponível em nossa próxima versão para que você possa começar a criar e experimentar. O Voice SDK é um conjunto de recursos de linguagem natural que permite criar navegação sem as mãos e nova jogabilidade orientada por voz. Com o Voice SDK, você pode criar Voice Navigation & Search ou habilitar Voice FAQ para permitir que os usuários peçam ajuda ou um lembrete. Também estamos habilitando a nova jogabilidade por voz, como vencer uma batalha com um feitiço mágico ativado por voz ou conversar com um personagem ou avatar. O Voice SDK é desenvolvido pela plataforma de linguagem natural Wit.ai do Facebook e é gratuito para se inscrever e começar.

Fonte: Facebook