Исследователи из Университета Карнеги-Меллона продемонстрировали работу системы отслеживания всего тела в виртуальной реальности с помощью камер, встроенных в ручные контроллеры. Идея может показаться притянутой за уши, но в ней появляется практический смысл, если вспомнить, что такие контроллеры уже делают в Magic Leap и Meta*.
Устройства для виара давно позволяют оцифровывать не только голову и руки до пальцев, но и торс с ногами. Для этого, однако, нужно дополнительное оборудование, такое как беспроводные трекеры или дорогие системы визуального слежения, находящиеся за пределами финансовых возможностей большинства людей.
В очках уже есть способные к такому трекингу камеры. Они неплохо работают с руками и пальцами, но обычно имеют угол обзора, недостаточный для наблюдения за ногами. Изучив проблему, Meta пришла к выводу, согласно которому, полный трекинг тела через очки нецелесообразен.
Учёные Университета Карнеги-Меллона провели собственное исследование, которое намекает, куда может пойти мысль инженеров Meta, если они отказались от камер очков. В рамках научной работы её авторы добавили по две камеры к каждому контроллеру Quest 2 и научили алгоритмы компьютерного зрения ассоциировать видимое изображение с положением ног и туловища аватаров, сравнивая данные с базовой информацией о положении рук.
Слабой стороной системы под названием ControllerPose является необходимость держать руки так, чтобы не перекрывать обзор камерам. Точность трекинга оставляет желать лучшего. Но перед нами результаты исследовательской работы, а не готовый продукт.
Авторы проекта говорят, что, по результатам их собственных тестов, пользователи очков виртуальной реальности держат руки перед собой примерно в 68% случаев. Когда руки находятся в неподходящем положении, система должна брать за основу данные инверсивной кинематики от инерциальных датчиков. Исследователи уверяют, что камеры с более широкими углами обзора позволят фиксировать положение ног, даже когда руки пользователя и контроллеры лежат по бокам.
Они же считают миллиметровую точность практически недостижимой. Зато сантиметровая возможна, и её будет достаточно для многих вариантов использования виртуальной реальности. Прототип показал среднюю погрешность в 6,98 сантиметра. Авторы предлагают рассматривать это как минимум, а не максимум возможностей, учитывая малое время работы над оптимизацией.
За это время сотрудники университета создали не только модель отслеживания на базе доработанных серийных очков, но и прототипы приложений, которые показывают потенциал системы в простых игровых кейсах. И подошли к вопросу с юмором: например, в игре Feet Saber разрезать блоки под музыку нужно и руками, и ногами.
Полный отчёт об исследовании читайте в PDF.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Ultraleap сделала модуль точного трекинга рук для очков Pico
