Марк Гшвандтнер, разработчик фитнес-приложения с отслеживанием рук XRWorkout придумал, как обойти запрет операционной системы Horizon на доступ к необработанным данным сквозных камер Quest 3, чтобы запускать свои модели компьютерного зрения. В подтверждение он опубликовал видео с результатами и призвал Марка Цукерберга и Эндрю Босворта к диалогу, но ответ пока не получил.
Видео Марка показывает модель обнаружения объектов MobileNet V2 с открытым исходным кодом, которая работает на Quest 3 на частоте 0,75 Гц. Выбор частоты, по словам инженера, обусловлен практичностью, а не производительностью. Представленные журналистам тестовые сборки подтвердили подлинность записи.
Сборка приложения Гшвандтнера создаёт веб-представление (webview) во встроенном Chromium. Браузер автоматически загружает URL oculus.com/casting, на который Quest могут транслировать изображение со своих экранов.
Затем в этом окне браузера нужно зайти в свою учётную запись Meta* и запустить веб-трансляцию через системное меню. Уникально то, что вы транслируете изображение с очков в приложение на них же, а не на другое устройство.
Затем приложение Гшвандтнера сэмплирует пиксельное содержимое получающего картинку окна с использованием RenderTexture и оттуда может делать с ней всё, что угодно. В примере автор передаёт поток в SDK MediaPipe на устройстве от Google.
Ключевой загвоздкой является то, что представление включает виртуальные объекты и интерфейсы, а не только сквозное видео с камеры, то есть оно работает, когда большая часть изображения сквозная. Но Гшвандтнер утверждает, что у него есть план обхода и этого ограничения.
Meta не могла пропустить это событие, особенно с учётом публичного призыва обсудить новый способ работы с данными камер к генеральном и техническому директорам компании, растиражированному СМИ, но сохраняет молчание. Компания потенциально может заблокировать это решение в будущей версии операционной системы.
Эндрю Босворт недавно говорил, что его инженеры изучают возможность предоставления разработчикам приложений для Quest доступа к сквозным камерам. Не исключено, что компания выжидает момент, когда публичный запрос на функцию перевесит опасения из-за безопасности пользовательских данных, а именно видеозаписей всего вокруг плюс потенциального анализа окружения в реальном времени с идентификацией людей, предметов и мест, характеристик объектов и так далее.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Песочница-движок s&box перешла на OpenXR
