Connect 2022: новые возможности Presence Platform больше подходят для Quest Pro

На прошлогодней корпоративной конференции Meta* представила Presence Platform, набор решений машинного восприятия и искусственного интеллекта, который позволяет создавать проекты смешанной реальности с естественным взаимодействием с людьми и цифровыми объектами. Теперь, вместе с анонсом Quest Pro с цветными камерами, компания добавляет в платформу новый блок — Social Presence, решения для социального взаимодействия.

Movement SDK

Movement SDK, новейшее дополнение к платформе Presence, состоит из функций отслеживания глаз, лица и тела по трём точкам. Инструментарий позволяет аватарам имитировать движения его хозяина в реальном времени по данным с датчиков Quest Pro. Эту технологию заложили в аватары Horizon Worlds и Horizon Workrooms. Она уже доступна разработчикам.

Трекинг лица и глаз

Внутри Quest Pro пять ИК-датчиков, направленных на лицо: три датчика смотрят на глаза и верхнюю часть лица, а два — на нижнюю часть. Трекингом управляет модель машинного обучения, которая позволяет очкам обнаруживать мимику широкого спектра.

Людям нужны выразительные и естественные аватары. Поэтому абстрактные данные о мимике, которые выводятся с помощью SDK Movement, представлены линейными формами смешивания на основе Системы кодирования движений лица (Facial Action Coding System, FACS) — набора значений от нуля до единицы, которые соответствуют набору общих движений. Эти сигналы позволяют разработчику легко сохранить семантическое значение исходного движения своих пользователей при сопоставлении сигналов от API Face Tracking с их собственным персонажем, независимо от того, является ли персонаж гуманоидом, пингвином или инопланетянином.

Для демонстрации возможностей трекинга лица Meta создала виртуального персонажа Ауру, попытавшись сделать её социально привлекательной с помощью машинного обучения. Аура будет доступна в виде образца, который разработчики смогут загрузить с GitHub в конце октября.

В дополнение к социальному опыту разработчики могут создавать новые формы интерактива, используя информацию о внимании в качестве входных данных аналогично отслеживанию рук. Речь идёт об управлении взглядом, которое вытеснит движения головы со статичным прицелом.

Meta снова подчёркивает, что никто не получает сырые данные о человеке, вроде фото или видео. За пределы памяти очков выходят лишь числовые значения.

Body Tracking API

В SDK вошёл новый API отслеживания тела, который использует трехточечный трекинг на основе положения контроллеров или рук относительно очков. Цель Meta состояла в том, чтобы предоставить простой интерфейс для социальных приложений, который хорошо работает из коробки. Компания утверждает, что использовала большой набор данных о реальных движениях человека, чтобы изучить и исправить ошибки методов обратной кинематики.

API Body Tracking работает и с контроллерами, и с отслеживанием рук. В обоих этих случаях софт отдаёт полный смоделированный скелет верхней части тела, включая руки. Есть автоматическое сглаживание случаев внезапного откладывания контроллеров и начала управления руками.

Поддержка нового API есть в Quest 2 и Quest Pro. Интерфейсу обещают многолетнее развитие.

Смешанная реальность с пониманием сцены, в цвете и с общими пространственными привязками

Вместе с Movement SDK подъехали свежие возможности смешивания реального и виртуального. Цифровой контент может взаимодействовать с физическим миром благодаря поддержке окклюзии, касаний, навигационных сеток и теней.

Цветное сквозное видео

Passthrough даёт пользователям ВР-очков смотреть на реальное окружение. Раньше это работало только в интересах безопасности, а теперь речь идёт об использовании технологии как основы для приложений. Quest 2 поддерживают смешанную реальность, но Quest Pro разработаны специально для неё и обладают цветными камерами с вчетверо более высоким разрешением.

Это открывает целый набор новых сценариев. Приложения могут реальные мониторы с цифровыми, бесшовно добавлять в опыт настоящие клавиатуры и мыши, управлять физическими объектами при помощи виртуальных интерфейсов и так далее. Причём, приложения с Quest 2 запустятся на Pro, просто в лучшем качестве. Небольшую основу софтверной экосистемы вырастили до презентации устройства, под которое она нужна.

Общие пространственные привязки

Прошлогодняя функция Spatial Anchors позволяет разработчикам привязывать виртуальный контент к физическому миру. До конца 2022 года вас ждёт обновление Shared Spatial Anchors, с которым можно создавать локальные многопользовательские игры.

Речь идёт об общей замкнутой системе отсчёта для нескольких пользователей. Например, для приложений, в которых двое или больше людей могут играть вместе, находясь в одном физическом пространстве и взаимодействуя с одним и тем же контентом.

Все перечисленные возможности вскоре будут реализованы в приложениях для линейки Quest, но полностью раскроются лишь на Quest Pro. Судя по тому, что нам известно, Quest 3 конкуренцию Pro в этом тоже не составят.

*В РФ признана экстремистской 

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!

Далее: Графика Quest 3 может быть вдвое мощнее графики Quest 2 и Pico 4