Google подтвердила высказанное ранее обещание открыть разработчикам приложений под Android XR доступ к сквозному видео с камер очков и рассказала, как именно это будет происходить. Новая операционная система может обойти конкурентов visionOS и Horizon OS. Система Apple открыла аналогичную возможность, но лишь для корпоративных пользователей, а в Meta* пока ведут закрытое тестирование.
Приложения в Android XR получат доступ к камере, запросив те же разрешения для фронтальной и тыльной камер, что и обычные приложения Android, с тем же API.
Запрос camera_id=0 будет работать с данными основных камер, обращённых к реальному миру. Запрос camera_id=1, который обычно работает с фронтальной камерой, в очках будет открывать поток из виртуального мира, то есть аватар пользователя. При запросе селфи-камеры поток генерирует запущенное приложение с использованием API OpenXR, которое сообщает данные отслеживания рук, ног, глаз, лица и других частей тела, для которых производитель очков придумает камеры. Оба потока доступны через стандартные API Android, то есть Camera2 и CameraX.
На данный момент для обычного разработчика потребительского приложения очки Quest и Vision не отдают сквозной видеопоток из соображений безопасности пользовательских данных — слишком многое можно таким образом узнать о человеке в очках и тех, кто его окружает. Поток может работать лишь в качестве необрабатываемого фона для смешанной реальности, а для пространственных расчётов операционная система предоставляет уже обработанную, опосредованную информацию. Это, например, означает, что по видеопотоку нельзя запускать модели компьютерного зрения.
Есть исключения. VisionOS 2 даёт прямой доступ к необработанным данным с камер корпоративным заказчикам для использования исключительно внутри корпоративных информационных контуров по особой лицензии. Meta обещает открыть видеопоток сторонним разработчикам в ближайшее время, а пока тестирует функцию в новом API.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Google постаралась убедить разработчиков в том, что Android XR не переедет на кладбище стартапов
