Meta* официально разрешила разработчикам использовать API Passthrough Camera в приложениях для очков Quest 3 и Quest 3S, публикуемых в Horizon Store. Ранее софт с функциями этого интерфейса нельзя было распространять в магазине платформы, он имел лишь экспериментальный статус. Изменения принёс SDK XR Core версии v76.
API Passthrough Camera открывает приложениям доступ к цветным фронтальным камерам очков, включая метаданные, такие как параметры объективов и положение устройства. Доступ возможен только с разрешения пользователя, аналогично доступу к микрофону.
Благодаря этому разработчики могут использовать:
- сканирование и отслеживание QR-кодов;
- распознавание игровых полей и наложение виртуальных объектов;
- обнаружение физических объектов для корпоративных приложений;
- интеграцию с облачными нейросетевыми моделями.
Что касается нейросетей, разработчики ограничены только тем, какие модели могут эффективно работать на процессоре XR2 Gen 2 или какие облачные модели они готовы оплатить.
Поток идёт с разрешением до 1280×960 при 30 кадрах в секунду и задержкой 40–60 мс. Это делает его непригодным для задач, требующих высокой скорости и качества изображения, таких как отслеживание быстрых движений или чтение мелкого текста.
Хотя специфического API для сквозных камер в Quest нет, доступ наладили через API Camera2 из Android, дополненный данными о положении через OpenXR. Это обеспечивает совместимость с будущими очками на Android, включая обещанный продукт Samsung.
В Unity разработчики получают доступ к камерам через стандартный API WebCamTexture, который поддерживает только одну камеру одновременно. Meta предоставила официальную документацию и примеры на GitHub:
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Apple официально предложила сообществу Godot поддержку visionOS
