Учёные из Шанхайского университета Джао Тонг, Университета Южной Калифорнии и компании ByteDance, которая управляет брендом Pico, представили отчёт о проекте нейросетевой модели EnvPoser. Она предполагает более точное, чем сейчас, отслеживание движения человека благодаря использованию видеоряда с камер очков. Даже если они не могут снимать ноги, модель старается определить положение всего аватара через анализ относительной позиции человека в реальном окружении.
Команда проекта сетует на неопределенность и неоднозначность оценки движения всего тела только по рукам и голове, особенно для суставов нижних конечностей. Для улучшения ситуации инженеры предложили новый метод EnvPoser, который работает в два этапа: по прямому трекингу тела в реальном времени и относительному по предварительно отсканированному окружению. С учётом неопределённостей на первом этапе система моделирует множество гипотез и на втором этапе уточняет данные, интегрируя в них семантические и геометрические факторы среды.
Таким образом программное обеспечение гарантирует, что окончательная картина имеет соответствие между параметрами, отслеживаемыми напрямую, и контекстом среды, а действия пользователя органично интегрированы реально-виртуальный континуум.
Авторы работы резюмируют: качественные и количественные эксперименты с двумя общедоступными наборами данных показали высокий уровень производительности и значительные улучшения в оценке движения человека в сценариях взаимодействия с окружающей средой. Согласно выводам, решение превзошло такие аналоги, как AvatarPoser, AGRoL, AvatarJLM, S2Fusion и GT.
Познакомиться с результатами исследования можно в официальном отчёте.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Технология изучения иностранных языков VR Supersonic прошла в МГИМО
