Meta Research, исследовательское крыло компании Meta*, опубликовало результаты работы над отслеживанием всего тела пользователя Quest 2 без дополнительных трекеров. Проект проходит под рабочим названием QuestSim.
Очки виртуальной реальности, в комплекте которых нет дополнительных аксессуаров для трекинга ног и торса, обычно могут следить лишь за положением головы и рук. Положение локтей, туловища и ног в такой ситуации можно вычислять с помощью алгоритмов инверсной кинематики, но это плохо работает с локтевыми суставами и ещё хуже с ногами — слишком много потенциальных решений для каждого заданного набора положений головы и рук.
Из-за ограничений аппаратного обеспечения и инверсной кинематики многие приложения показывают только верхнюю часть туловища аватара с парящими в воздухе ладонями. Ситуацию уже грозится изменить Pico 4, но пока у разработчиков нет выбора, ведь большинство устройств в мире имеют недостаточный комплект только из очков и контроллеров. Дополнительные трекеры, вроде Vive Tracker, народ докупать не торопится.
В новой статье учёные Meta рассказали о системе из Quest 2 и контроллеров, которая может вычислять правдоподобную позу всего тела без внешних датчиков. Система делает выводы с помощью нейросетей из небольшого набора данных.
Показатели точности и дрожания позволяют учёным говорить о превосходстве алгоритмов даже над инерциальными браслетами, которые работают только с акселерометром и гироскопом. Именно такие представила Pico для четвёртого поколения своих очков. Но китайцы, понимая проблему, трудятся над собственным нейросетевым решением, для которого будут иметь расширенный набор данных.
В проекте Meta есть загвоздки. Как видно из видео, система предназначена для создания правдоподобной позы всего тела, которая не обязательно соответствует точному положению рук, а задержка составляет огромные по меркам виара 160 миллисекунд — больше 11 кадров при частоте 72 Гц. QuestSim хорошо показывает ваше тело окружающим, но если его видит владелец аватара, начинаются проблемы с рассинхронизацией.
Читатель мог подумать, что недостатки легко исправить, и QuestSim скоро появится на Quest. Технический директор Meta и руководитель Reality Labs Эндрю Босворт (Andrew Bosworth) недавно намекнул на это с уточнением:
Итак, мы работаем над ногами, которые выглядят естественными для стороннего наблюдателя, потому что он не знает, как на самом деле расположены ваши настоящие ноги, но, вероятно, вы, когда будете смотреть на свои собственные ноги, по-прежнему ничего не увидите. Это наша текущая стратегия.
Таким образом, даже если ноги появятся, свои вы не увидите. А второй проблемой являются вычисления. Исследовательские работы по машинному обучению как правило выполняются на мощных графических процессорах с относительно низкой частотой кадров. В отчёте не упоминается производительность описываемой системы на очках. Сумеют ли они вычислять позу хотя бы так же «быстро», как в условиях научного эксперимента? Это пока загадка.
С оригинальной научной статьёй вы можете ознакомиться в PDF.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Новый редактор Rec Room позволит загружать контент прямо из Unity
