Исследователи Meta* на шаг приблизились к созданию реалистичных ног у аватаров без дополнительного оборудования для отслеживания нижней половины человеческого туловища.
По умолчанию современные системы виртуальной реальности отслеживают только положение головы и рук. Положение локтей, туловища и ног можно определять с помощью класса алгоритмов инверсной кинематики, но они периодически ошибаются с локтями и часто ошибаются с ногами. Причина в том, что слишком много потенциальных решений для каждого набора положений головы и рук.
Учитывая ограничения инверсной кинематики и нехватку других полноценных аналогов, многие ВР-приложения показывают в виде аватаров только верхнюю часть тела. Очки для ПК поддерживают дополнительные трекеры, но они дороги, непопулярны и всё равно не интегрированы с многими массовыми приложениями, вроде игр.
В сентябре инженеры Meta продемонстрировали нейросетевую модель QuestSim, которая оценивает правдоподобную позу всего тела, используя только данные трекинга из Quest 2 и их контроллеров. Но там задержка составила 160 мс — более 11 кадров при частоте 72 Гц. Такое решение может ограниченно подойти для показа аватаров окружающим, но сам пользователь при виде ног почувствует дезориентацию. В отчёте по QuestSim также не упоминаются требования к производительности. Скорее всего, если бы на такое были способны очки, а не стойка в ЦОД, Meta рассказала бы о таком достижении.
В новой статье под названием Avatars Grow Legs (AGRoL) уже другие сотрудники Meta рассказали о подходе, который, как они утверждают, «достигает самой современной производительности» с более низкими вычислительными требованиями, чем предыдущие.
AGRoL (Avatars Grow Legs) — это диффузионная (вероятностная генеративная) модель, как и известные системы генерации изображений, такие как Stable Diffusion и DALL·E 2 от OpenAI. Однако, в отличие от них, AGRoL «может работать в режиме реального времени» на одном ускорителе NVIDIA V100 со скоростью около 41 кадра в секунду. Такой ускоритель стоит $15 000 и ни за что не поместится в очки, но на начальной стадии оптимизации это нормально для моделей, которые через несколько лет запускаются на мобильных устройствах. Так было, например, с моделями распознавания и синтеза речи из Google Assistant и Siri.
AGRoL показывает успехи ИИ-разработчиков Meta, хотя компания не обещает, что такой трекинг ног по позе тела появится в Quest в ближайшее время. Аватары Meta официально должны получить ноги в 2023 году, но с большой вероятностью в основу лягут гораздо менее продвинутые алгоритмы, которые будут дополнять лишь чужие аватары, а не ваш, чтобы вы не ощущали рассинхронизацию движений и анимации.
Подробнее с AGRoL можно ознакомиться в отчётной статье.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Rec Room представит трекинг ног и рук до конца года
