XR Core SDK версии 74 предоставил всем разработчикам доступ к цветным сквозным камерам через новый API Passthrough Camera. Помимо основной функции работы с камерами, интерфейс позволяет разработчикам улучшить качество приложений по таким параметрам, как освещение и эффекты, и управлять конвейерами машинного зрения и обучения.
API Passthrough Camera перешёл в публичный доступ, но остаётся экспериментальным. Это означает, что с его помощью разработчики могут создавать приложения и отдельные функции, но пока не могут публиковать это в Horizon Store или включать в опубликованный софт. Для новых API это стандартная практика.
Passthrough Camera не может функционировать без разрешения пользователя. Система запрашивает его при первом запуске каждого приложения, которое сможет видеть и анализировать реальное окружение человека. Это работает аналогично доступу к данным микрофонов.
API работает только с Quest 3 и 3S. Приложения получают доступ к сквозному видео на скорости 30 кадров в секунду с максимальным разрешением 1280×960. Задержка составляет от 40 до 60 миллисекунд. Нейросетевые алгоритмы могут испытывать трудности с быстрыми, небольшими и далёкими объектами и текстом.
Meta* опубликовала примеры использования Passthrough Camera для Unity на GitHub. Ещё пять примеров с использованием QuestCameraKit представил инженер компании Роберто Ковьелло. Демонстрации включают отслеживание QR-кода, распознавание объектов и интеграцию визуальной модели OpenAI для анализа изображений в реальном времени. Первые приложения на свежем программном интерфейсе выйдут в ближайшую неделю.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: SDK Quest v74 приносит микрожесты большого пальца и улучшенную трансформацию голоса в мимику
