Стандартный браузер очков Quest 3 и 3S с версии 40.4 может использовать датчики глубины для проверки пересечений виртуальных объектов с реальными при использовании фреймворка WebXR. Это позволяет мгновенно размещать объекты смешанной реальности без сетки сцены.
Функция Hit Testing в API WebXR позволяет разработчикам проецировать луч из точки, например, головы пользователя или контроллера, и определять, где он впервые пересечёт реальную геометрию. API является частью открытого стандарта, но его техническая реализация различается от устройства к устройству.
Ранее для этого Quest 3 и Quest 3S в WebXR использовали сетку сцены (Scene Mesh), сгенерированную в процессе настройки смешанной реальности. Но такой подход имеет ряд недостатков. Например, если пользователь не настраивал сетку для помещения, в которое попадал, ему приходилось делать это при вызове Hit Testing.
Это становилось большим препятствием перед опытом, который должен быть бесшовным. И даже при наличии размеченной сетки она не отражала бы перемещение мебели или другие изменения с момента сканирования.
Поэтому в Horizon Browser 40.4 инженеры Meta* перешли со Scene Mesh на API Depth. Он отдаёт данные с датчиков удалённости от первого лица и в реальном времени с обработкой алгоритмом компьютерного зрения, который определяет разницу между кадрами с двух датчиков на фронтальной панели в стереопаре. Система работает на расстоянии до пяти метров и обычно нужна для динамической окклюзии в смешанной реальности, поскольку определяет, должны ли виртуальные объекты быть перекрытыми реальной геометрией.
Такая возможность уже около года доступна разработчикам на Unity в наборе утилит для смешанной реальности Mixed Reality Utility Kit (MRUK), а разработчики на Unreal и нативщики могут реализовать её самостоятельно с помощью API Depth. Теперь настала очередь WebXR.
Однако следует помнить, что это подходит только для создания простых стационарных объектов и интерфейсов. Если сущностям необходимо перемещаться по поверхностям или взаимодействовать с другими элементами комнаты, всё равно потребуется сканировать окружение.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Пользователи VRChat нашли способ стать птицами через отслеживание глаз
