Facebook бросает вызов Microsoft Mesh с новой платформой Presence

Facebook (теперь известная как Meta) сегодня анонсировала новую платформу Presence, которая позволит разработчикам создавать новые возможности смешанной реальности. Платформа Presence будет конкурировать с платформой Microsoft Mesh, которая была объявило рано в этом году. Возможности Presence Platform включают сквозную передачу, пространственные привязки и понимание сцены.

Инсайт SDK

Сегодня мы объявляем Инсайт SDK, что позволяет создавать смешанную реальность, создающую реалистичное ощущение присутствия.

В начале этого года мы представил экспериментальную версию Passthrough API, что позволяет создавать приложения, сочетающие виртуальный контент с физическим миром. Сегодня мы объявляем об общедоступной версии Passthrough в нашем следующем выпуске, что означает, что вы сможете создавать, тестировать и распространять опыт с возможностями Passthrough.

Мы также объявляем о пространственных привязках, закрытых системах отсчета, которые позволят вам размещать виртуальный контент в физическом пространстве, которое может сохраняться между сеансами. С помощью Spatial Anchors Experimental, который скоро будет доступен, вы сможете создавать пространственные привязки в определенных позах 6 степеней свободы, отслеживать позу 6 DoF относительно гарнитуры, сохранять пространственные привязки на устройстве и получать список отслеживаемых в настоящее время пространственных привязок.

Мы также анонсируем новый Понимание сцены способность. Вместе с сквозными и пространственными привязками, понимание сцен позволяет быстро создавать сложные и учитывающие сцены взаимодействия, которые имеют богатое взаимодействие с пользовательской средой. Как часть понимания сцены, модель сцены обеспечивает геометрическое и семантическое представление пространства пользователя, поэтому вы можете создавать впечатления смешанной реальности в масштабе комнаты. Модель сцены — это единое всеобъемлющее актуальное представление физического мира, которое можно индексировать и запрашивать. Например, вы можете прикрепить виртуальный экран к стене пользователя или заставить виртуального персонажа перемещаться по полу с реалистичной окклюзией. Кроме того, вы можете перенести в виртуальную реальность реальные физические объекты. Чтобы создать эту модель сцены, мы предоставляем управляемый системой поток захвата сцены, который позволяет пользователям ходить и снимать свою сцену. Мы рады сделать возможности Scene Understanding доступными в качестве экспериментальных возможностей в начале следующего года.

Благодаря новым возможностям Passthrough, Spatial Anchors и Scene Understanding в Insight SDK вы сможете создавать приложения смешанной реальности, которые сочетают виртуальный контент с физическим миром, создавая новые возможности для социальных связей, развлечений, продуктивности и многого другого.

Защита частной жизни физического пространства людей важна для нас. Мы разработали Passthrough, Spatial Anchors и Scene Understanding, чтобы разработчики могли создавать приложения, сочетающие физическое и виртуальное окружение, без необходимости доступа к необработанным изображениям или видео с ваших датчиков Quest.

Взаимодействие SDK

С Interaction SDK мы упрощаем интеграцию рук и взаимодействия с контроллером. Библиотека Unity, доступная в начале следующего года, будет поставляться с набором готовых к использованию надежных компонентов взаимодействия, таких как захват, тыкание, прицеливание и выбор. Все компоненты можно использовать вместе, независимо или даже интегрировать в другие интерактивные среды. Interaction SDK решает многие сложные проблемы взаимодействия, связанные с отслеживанием рук на основе компьютерного зрения, предлагает стандартизированные шаблоны взаимодействия и предотвращает регрессию по мере развития технологии. И последнее, но не менее важное: он предоставляет инструменты, которые помогут вам создавать собственные жесты.

Защита данных, которую мы всегда предлагали Отслеживание рук применить здесь. Изображения и расчетные баллы, характерные для ваших рук, после обработки удаляются и не сохраняются на наших серверах.

SDK для отслеживаемой клавиатуры

В прошлом году мы объявили о Отслеживаемая клавиатура возможности для разработчиков. Мы усердно работаем над запуском Tracked Keyboard SDK и собираемся выпустить его в начале следующего года как часть Presence Platform.

Голосовой SDK Экспериментальный

Мы также объявляем Голосовой SDK Экспериментальный, доступный в нашем следующем выпуске, чтобы вы могли начать строить и экспериментировать. Voice SDK — это набор возможностей естественного языка, которые позволяют создавать навигацию без помощи рук и новый игровой процесс с голосовым управлением. С помощью Voice SDK вы можете создавать голосовую навигацию и поиск или включать голосовые вопросы и ответы, чтобы пользователи могли обращаться за помощью или напоминаниями. Мы также включаем новый игровой процесс с голосовым управлением — например, победа в битве с помощью активируемого голосом магического заклинания или разговор с персонажем или аватаром. Voice SDK работает на базе платформы естественного языка Facebook Wit.ai, и зарегистрироваться и начать работу можно бесплатно.

Источник: что его цель