Разработчики обычно стараются сообщать о новых функциях своего ПО в журнале изменений, давая пользователям единый источник информации о своих достижениях. Но у команды очков Quest это не работает. После отчёта об обновлении v64, которое улучшило сквозное видео и добавило лежачий режим, в прошивке нашли две незаявленные функции: распознавание мебели на Quest 3 и одновременное отслеживание рук и контроллеров Touch Pro или Touch Plus в домашнем окружении.
Распознавание мебели
Quest 3 создают 3D-сетку комнаты во время настройки смешанной реальности и обращается к ней для понимания расположения стен, пола и потолка. Но до последнего апдейта очки не знали форму наполняющих помещение объектов, таких как двери, окна, мебель и телевизоры. Их нужно было отмечать вручную. Авторам приложений приходилось уповать на то, что пользователи сделают всё правильно — и вообще сделают.
Операционная система Quest 3 с обновлением v64 в конце сканирования комнаты для смешанной реальности рисует параллелепипеды-ограничители вокруг дверей, окон, кроватей, столов, диванов, мест хранения (шкафы, полки и так далее) и экранов (телевизоры и мониторы).
Разработчики имеют доступ к этим данным через API Scene могут использовать их для автоматического размещения контента. Например, помещать игровую доску на стол, заменять окна порталами или вносить настоящий телевизор в виртуальную реальность, чтобы его случайно не разбили.
Vision Pro уже даёт разработчикам похожую возможность, но пока лишь в виде грубых прямоугольников, обозначающих поверхности. API RoomPlan на iPhone Pro может создавать 3D-границы, но не работает в visionOS. Очки Apple вместе с RGB-камерами тоже получили лидары, поэтому здесь разумно ожидать RoomPlan.
Вы могли заметить, что технология определения границ объектов похожа на нейросетевую модель SceneScript, о которой мы писали в марте. К сожалению, на таком уровне определения объектов и их трёхмерной геометрии прошивка очков пока не работает. Это, вероятно, потребует гораздо большей вычислительной мощности, чем та, на которую в фоновом режиме способны мобильные очки.
Руки и контроллеры одновременно
С прошлого года разработчики Quest получили возможность экспериментировать с одновременным отслеживанием рук и контроллеров в Quest 3 или Quest Pro, а два месяца назад начали публиковать приложения, использующие эту функцию, в Quest Store и App Lab. Теперь же функция заработала в домашнем пространстве Quest, как в сквозном режиме, так и в виртуальной реальности.
Она работает только с контроллерами Quest 3 и Quest Pro. Пользователю Quest 2 для этого придётся купить Touch Pro за $300.
Мультимодальный трекинг обеспечивает мгновенный переход между отслеживанием контроллера и рук, без задержек. Он также работает с одним контроллером и одной свободной рукой. Это спасает от рывков трекинга при переключении и открывает новые сценарии игр. Например, для стрельбы можно использовать одноручное оружие, чтобы во второй руке держать нож, факел, лассо или просто взаимодействовать ей с окружением, вроде вентилей, рычагов и дверей.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Open Teach — новый фреймворк для управления роботами в очках виртуальной реальности
