Meta, которая ещё вчера была Facebook, анонсировала на конференции Connect 2021 платформу для разработки дополненной и смешанной реальности «Presence Platform». В её основу лёг Passthrough API, который переходит в стадию полностью рабочего инструмента. И теперь разработчики смогут отправлять приложения в Oculus Store и App Lab.
Insight SDK
За общие возможности понимания окружения для смешанной реальности будет отвечать новый Insight SDK. В него войдут функции «Passthrough», «Spatial Anchors» и «Scene Understanding».
Экспериментальная функция «Spatial Anchors» поможет размещать виртуальный контент в физическом пространстве с закреплением между сеансами, сохранением позиции относительно других объектов, отслеживанием позиции цифровых объектов относительно очков и получением списка отслеживаемых анкоров.
Новая функция «Scene Understanding», вместе с Passthrough и Spatial Anchors, в начале следующего года позволит быстро строить сложные сцены со взаимодействием с окружающей средой. Часть Scene Understanding, Scene Model, обеспечит геометрическое и семантическое представление пространства пользователя, так что вы сможете создавать проекты смешанной реальности в масштабе комнаты.
Scene Model — это «единое, всеобъемлющее, актуальное представление физического мира, которое можно индексировать и запрашивать». Например, вы можете прикрепить виртуальный экран к стене или заставить виртуального персонажа перемещаться по полу с реалистичной окклюзией. Кроме того, можно перенести в виртуальную реальность физические объекты. Для съёмки окружения Meta предоставит функцию «Scene Capture».
Meta уверяет, что приложения и разработчики не получают необработанные изображения или видео с датчиков Quest.
Interaction SDK
Meta также продвинулась вперёд во взаимодействии пользователя с контентом. Если пять лет назад за него отвечали геймады, то вслед за ними начали появляться специальные средства, такие как контроллеры Touch, а теперь нам доступна ещё большая естественность благодаря трекингу рук.
Расширить возможности отслеживания рук призван новый Interaction SDK. Он упростит разработчикам добавление этого метода управления, предоставив Unity-библиотеку стандартных жестов, таких как захват, толчок, цель и выбор. Все компоненты можно использовать вместе, независимо или даже интегрировать в другие платформы.
Interaction SDK решает сложные задачи взаимодействия, связанные с отслеживанием рук на основе компьютерного зрения и предлагает стандартизированные модели взаимодействия. И последнее, но не менее важное: он предоставляет инструменты, которые помогут разработчикам создавать собственные жесты.
Здесь действуют прежние меры защиты данных. Изображения и результаты оценок удаляются после обработки и не хранятся на серверах.
Tracked Keyboard SDK
В прошлом году Facebook анонсировала возможность отслеживания клавиатуры. Tracked Keyboard SDK откроет это на постоянной основе в начале следующего года в рамках Presence Platform.
Voice SDK Experimental
Экспериментальный Voice SDK подойдёт для тех случаев, когда наиболее интуитивным методом ввода является голос. Это набор возможностей обработки естественного языка, которые позволяют создавать навигацию без помощи рук и новый игровой процесс с голосовым управлением.
С помощью Voice SDK вы можете создать голосовую навигацию и поиск или позволить людям задавать вопросы, чтобы они могли обращаться за помощью или напоминанием. Разработчикам игр может понравиться новый геймплей на голосовом управлении: например, для победы в битве через чтение заклинания или разговора с персонажами.
Voice SDK работает на платформе естественного языка «Wit.ai» от Facebook.
Демо и документы
В начале следующего года, вместе со всеми самыми интересными возможностями новых SDK, выйдет демонстрационный проект «The World Beyond». Он поможет оценить Presence Platform.
Presence Platform и Oculus Platform SDK предназначены для совместной работы, поэтому вы сможете использовать их в тандеме. Документация для разработчиков появится вместе с новыми инструментами.
Стоит также отметить, что выход Inside SDK прекратит поддержку Passthrough API Experimental.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: GTA: San Andreas выйдет на Quest 2 (и другие игровые анонсы Connect 2021)
