Новый API Body Tracking для Quest вышел на прошлой неделе как часть SDK Movement, в который также входят решения для отслеживания глаз и лица под новые Quest Pro. И если с последними всё понятно, трекинг тела вызвал недопонимание, поскольку не является тем, чем хочет казаться.
Официальный Twitter-аккаунт Oculus для разработчиков объявил о релизе с иллюстрацией из сопроводительных документов. Изображение, как будто не хватало запутывающего названия, показывает скелетное отслеживание всего человеческого тела. Его быстро разнесли по интернету, не побеспокоившись о функциональном анализе API и аудитории, которая излишне доверяет соцсетям. В результате многие поверили, что Quest понимают позы всего пользователя, от макушки до ступней.
API Hand Tracking помогает очкам понимать фактическое положение рук и пальцев по данным с камер. API Eye Tracking и Face Tracking делают то же самое с глазами и лицом благодаря новым камерам Quest Pro, обращенным к пользователю. Но API Body Tracking предоставляет только «симулированный скелет верхней части тела» на основе положения вашей головы и рук, подтвердил по запросу СМИ представитель Meta*. Это не настоящее отслеживание, а симуляция, которая не включает ноги.
Лучшим названием для интерфейса стало бы что-то про оценку позы. В Meta описывают технологию как комбинацию обратной кинематики и машинного обучения. Обратная кинематика — это, фактически, уравнения, которые позволяют вычислять неизвестные положения частей скелета на основе известных. Этот подход лежит в основе всех аватаров виртуальной реальности в полный рост в современных приложениях. Разработчикам не нужно реализовывать или даже понимать математику, поскольку игровые движки, такие как Unity и Unreal, имеют встроенные модели расчётов, а вдобавок к ним есть другие платные и бесплатные решения, вроде Final IK.
Без специального оборудования для отслеживания тела, такого как HTC Vive Tracker, обратная кинематика неточна, поскольку существует много потенциальных математических решений для каждого набора положений головы и рук. Претензия Meta здесь заключается в том, что её модель машинного обучения может бесплатно выводить якобы более точную позу. Демонстрационное видео, кажется, подтверждает это утверждение, но без таза и ног и только для очков собственной разработки.
Meta могла называть и рекламировать API «на вырост». В начале 2022 года компания заявила, что не считает жизнеспособным отслеживание ног на устройствах с трекингом на базе интегрированных камер, таких как Quest 2, а вместо этого изучает возможность внедрения «поддельных» ног на основе моделей машинного обучения (что и произошло сейчас). Тогда вице-президент Meta Reality Labs и будущий технический директор Meta Эндрю Босворт (Andrew Bosworth) предупреждал, что на такие ноги лучше не смотреть самому, потому что они не будут точно соответствовать вашим и вызовут неприятные ощущения. Вместо этого симуляция подходит, чтобы показывать ваши ноги окружающим. Это компромиссный способ обойти отсутствие ног у аватаров в метавселенной компании.
Позже Meta представила результаты исследовательской работы собственной модели машинного обучения QuestSim. Она работает и, кажется, неплохо, если не принимать во внимание задержку. Она составляет огромные по меркам виара 160 миллисекунд — больше 11 кадров при частоте 72 Гц. Такое решение хорошо показывает ваше тело окружающим, но если его видит владелец аватара, начинаются проблемы с рассинхронизацией.
Тем не менее, все улучшения трекинга тела в ближайшие годы станут частью API Body Tracking, поэтому его освоение не повредит. В этом году компания перейдёт от закрытого теста ног к их внедрению в семейство приложений Horizon. А в следующем, при условии успеха среди пользователей, они откроются сторонним разработчикам.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Connect 2022: новые возможности Presence Platform больше подходят для Quest Pro
