Разработчики приложений для Quest 3 получили возможность использовать в них три новые функции, которые значительно улучшают опыт виртуальной и смешанной реальности. Meta* выкатила в SDK v60 отслеживание верхней части тела, генеративные ноги и окклюзию. Это больше не эксперимент, а полноценные функции, готовые к работе в софте.
Отслеживание верхней половины туловища встроенными камерами (Inside-Out Body Tracking (IOBT) и генеративные ноги (Generative Legs) анонсировали для Quest 3 осенью. Окклюзия для смешанной реальности через Depth API была доступна как экспериментальная функция, но до сих пор разработчики могли тестировать её, но не отправлять сборки с ней в Quest Store и App Lab.
Все три функции доступны публично и без ограничений как часть SDK v60 для Unity и собственного кода. Интеграция v60 с Unreal Engine включает Depth API, но лишена IOBT и Generative Legs.
Верхняя половина туловища
Inside-Out Body Tracking использует боковые камеры Quest 3, направленные вниз, для отслеживания запястий, локтей, плеч и туловища с использованием алгоритмов компьютерного зрения.
IOBT предотвращает проблемы с обратной кинематикой в прогностической модели рук, которая часто ошибается в положении этих частей тела и вызывает дискомфорт, поскольку система просто делает предположения на основе данных о голове и руках. С новой функцией очки смогут отразить реальное положение рук вместо приблизительного. По крайней мере, пока они в поле зрения камер.
Функция также позволяет привязывать движение стика к направлению тела, а не только к голове или рукам. Благодаря этому человек может выполнять новые действия, такие как наклон через выступ, и реалистично показывать это на своём аватаре.
Ноги
Для нижней половины туловища есть генеративные ноги. Они используют модель искусственного интеллекта для оценки положения ног. Название следует воспринимать буквально: очки не могут видеть ноги, и здесь уже делают предположения, как раньше с руками. Система отработает прыжки и приседания, но многие другие движения, такие как поднятие коленей, она фиксировать не сможет.
На Quest 3 Generative Legs обеспечивает более реалистичную оценку, чем на старых моделях очков, благодаря использованию в качестве входных данных отслеживания верхней половины тела, но технология работает и в Quest Pro, и в Quest 2 на базе положения головы и рук.
Вместе с IOBT Generative Legs позволяет без внешнего оборудования создавать полные реалистичные аватары, которые в Meta называют Full Body Synthesis. Ранее компания объявила, что они появятся в таких играх, как Supernatural, Swordsman VR и Drunken Bar Fight.
Окклюзия
Отсутствие окклюзии в Depth API негативно сказалось на погружении пользователей в смешанную реальность. Хотя виртуальные объекты могут появляться за грубой сеткой сцены, созданной при сканировании помещения, они всегда перед движущимися объектами, такими как ваши руки и другие люди, даже если по перспективе должны быть дальше, что резко нарушает доверие происходящему.
Разработчики уже могли реализовать динамическую окклюзию для рук с помощью сетки Hand Tracking, но немногие делали это, потому что она обрезается на запястье. Обновлённый Depth API даёт разработчикам покадровую карту глубины, создаваемую очками с их точки зрения. Это можно использовать для окклюзии как движущихся объектов, так и более мелких деталей статических объектов, поскольку они могут не попасть в сетку сцены.
Динамическая окклюзия должна сделать смешанную реальность в Quest 3 более естественной. Однако разрешение определения глубины в очках очень низкое, поэтому они не улавливают такие детали, как пространство между пальцами, и вы увидите пустоту по краям объектов.
Карту глубины также рекомендуется использовать только до 4 метров, после чего «точность значительно падает», поэтому разработчики могут захотеть работать с новой окклюзией для статики.
Реализовать окклюзию можно двумя способами: жёстким (hard) и мягким (soft). Hard бережёт вычислительные ресурсы, но даёт неровные края, а soft нагружает графический процессор, но выглядит лучше. Глядя на пример от Meta, трудно представить, что кто-то выберет экономию.
Но в обоих случаях окклюзия требует использования специальных шейдеров окклюзии Meta или её специальной реализации в самописных шейдерах. Такое не выполнить одним кликом мыши, разработчикам придётся прилагать усилия.
Помимо окклюзии, они также могут использовать Depth API для визуальных эффектов на основе глубины в смешанной реальности, таких как туман.
Подробная документация для Unity есть здесь, а для Unreal — здесь.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальность — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Xbox Cloud Gaming вышел на Quest. Теперь на очках доступны все игры из Game Pass
