На прошлогодней корпоративной конференции Meta* представила Presence Platform, набор решений машинного восприятия и искусственного интеллекта, который позволяет создавать проекты смешанной реальности с естественным взаимодействием с людьми и цифровыми объектами. Теперь, вместе с анонсом Quest Pro с цветными камерами, компания добавляет в платформу новый блок — Social Presence, решения для социального взаимодействия.
Movement SDK
Movement SDK, новейшее дополнение к платформе Presence, состоит из функций отслеживания глаз, лица и тела по трём точкам. Инструментарий позволяет аватарам имитировать движения его хозяина в реальном времени по данным с датчиков Quest Pro. Эту технологию заложили в аватары Horizon Worlds и Horizon Workrooms. Она уже доступна разработчикам.
Трекинг лица и глаз
Внутри Quest Pro пять ИК-датчиков, направленных на лицо: три датчика смотрят на глаза и верхнюю часть лица, а два — на нижнюю часть. Трекингом управляет модель машинного обучения, которая позволяет очкам обнаруживать мимику широкого спектра.
Людям нужны выразительные и естественные аватары. Поэтому абстрактные данные о мимике, которые выводятся с помощью SDK Movement, представлены линейными формами смешивания на основе Системы кодирования движений лица (Facial Action Coding System, FACS) — набора значений от нуля до единицы, которые соответствуют набору общих движений. Эти сигналы позволяют разработчику легко сохранить семантическое значение исходного движения своих пользователей при сопоставлении сигналов от API Face Tracking с их собственным персонажем, независимо от того, является ли персонаж гуманоидом, пингвином или инопланетянином.
Для демонстрации возможностей трекинга лица Meta создала виртуального персонажа Ауру, попытавшись сделать её социально привлекательной с помощью машинного обучения. Аура будет доступна в виде образца, который разработчики смогут загрузить с GitHub в конце октября.
В дополнение к социальному опыту разработчики могут создавать новые формы интерактива, используя информацию о внимании в качестве входных данных аналогично отслеживанию рук. Речь идёт об управлении взглядом, которое вытеснит движения головы со статичным прицелом.
Meta снова подчёркивает, что никто не получает сырые данные о человеке, вроде фото или видео. За пределы памяти очков выходят лишь числовые значения.
Body Tracking API
В SDK вошёл новый API отслеживания тела, который использует трехточечный трекинг на основе положения контроллеров или рук относительно очков. Цель Meta состояла в том, чтобы предоставить простой интерфейс для социальных приложений, который хорошо работает из коробки. Компания утверждает, что использовала большой набор данных о реальных движениях человека, чтобы изучить и исправить ошибки методов обратной кинематики.
API Body Tracking работает и с контроллерами, и с отслеживанием рук. В обоих этих случаях софт отдаёт полный смоделированный скелет верхней части тела, включая руки. Есть автоматическое сглаживание случаев внезапного откладывания контроллеров и начала управления руками.
Поддержка нового API есть в Quest 2 и Quest Pro. Интерфейсу обещают многолетнее развитие.
Смешанная реальность с пониманием сцены, в цвете и с общими пространственными привязками
Вместе с Movement SDK подъехали свежие возможности смешивания реального и виртуального. Цифровой контент может взаимодействовать с физическим миром благодаря поддержке окклюзии, касаний, навигационных сеток и теней.
Цветное сквозное видео
Passthrough даёт пользователям ВР-очков смотреть на реальное окружение. Раньше это работало только в интересах безопасности, а теперь речь идёт об использовании технологии как основы для приложений. Quest 2 поддерживают смешанную реальность, но Quest Pro разработаны специально для неё и обладают цветными камерами с вчетверо более высоким разрешением.
Это открывает целый набор новых сценариев. Приложения могут реальные мониторы с цифровыми, бесшовно добавлять в опыт настоящие клавиатуры и мыши, управлять физическими объектами при помощи виртуальных интерфейсов и так далее. Причём, приложения с Quest 2 запустятся на Pro, просто в лучшем качестве. Небольшую основу софтверной экосистемы вырастили до презентации устройства, под которое она нужна.
Общие пространственные привязки
Прошлогодняя функция Spatial Anchors позволяет разработчикам привязывать виртуальный контент к физическому миру. До конца 2022 года вас ждёт обновление Shared Spatial Anchors, с которым можно создавать локальные многопользовательские игры.
Речь идёт об общей замкнутой системе отсчёта для нескольких пользователей. Например, для приложений, в которых двое или больше людей могут играть вместе, находясь в одном физическом пространстве и взаимодействуя с одним и тем же контентом.
Все перечисленные возможности вскоре будут реализованы в приложениях для линейки Quest, но полностью раскроются лишь на Quest Pro. Судя по тому, что нам известно, Quest 3 конкуренцию Pro в этом тоже не составят.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Графика Quest 3 может быть вдвое мощнее графики Quest 2 и Pico 4
