Nvidia провела важный релиз SDK платформы облачной трансляции иммерсивных приложений CloudXR. В версии 6.0 инструментарий получил новую архитектуру с раздельными серверными и клиентскими компонентами, расширенной поддержкой платформ и веб-ориентированным клиентским SDK. А кроме этого он перестал быть драйвером SteamVR и теперь предоставляет свою среду выполнения для OpenXR.
Наряду с масштабными архитектурными изменениями яркой деталью выпуска оказалась поддержка функции фовеальной или ямковой трансляции для очков на операционной системе visionOS 26.4, которая только что вышла в тествой версии.
Новая архитектура
- CloudXR Runtime — среда выполнения, совместимая с OpenXR, для серверов на Windows и Linux
- CloudXR Framework — нативный фреймворк Swift для клиентов Apple (visionOS и iOS)
- CloudXR.js (ранний доступ) — фреймворк JavaScript для веб-клиентов
Расширение поддержки серверных платформ
- Windows 10/11 (64-бит)
- Ubuntu 22.04 или более поздняя версия (64-бит)
Расширение поддержки клиентских устройств
- Apple Vision Pro (visionOS 2.4+)
- iPhone и iPad (iOS 18.0+)
- Quest 3 (через веб-браузер, версия ОС 79+)
- Pico 4 Ultra (через веб-браузер, Pico OS 15.4.4U+)
- Десктопные браузеры с поддержкой WebXR
Расширение поддержки веб-клиентов
- Потоковая передача на основе WebRTC через стандартные веб-браузеры
- Интеграция API устройств WebXR для иммерсивной VR/AR Возможности
- Независимость от фреймворков клиента: работает с Three.js, React Three Fiber или обычным WebGL
- Распространение пакетов npm для упрощения интеграции
Расширение поддержки нативных клиентов Apple
- Интеграция со SwiftUI и RealityKit
- Полное отслеживание головы по 6 степеням свободы через ARKit
- Поддержка отслеживания рук на visionOS
- Поддержка Bluetooth-контроллеров (PlayStation DualSense)
- Ускоренные с помощью Metal декодирование и рендеринг видео
Расширения OpenXR
- XR_NV_opaque_data_channel — двунаправленные каналы данных для связи, специфичной для приложения
Менеджер потоков (Windows)
- Сервис Windows RPC для управления экземплярами среды выполнения CloudXR
- Поддержка нескольких версий среды выполнения
- Программное управление средой выполнения через API C
Трансляция с ускорением на графическом процессоре
- Аппаратное кодирование видео NVENC для потоковой передачи с низкой задержкой
- Поддержка фовеального рендеринга для оптимизации полосы пропускания
- Адаптивный битрейт
Поддержка ввода
- Отслеживание головы (6 степеней свободы)
- Отслеживание движений рук
- Ввод с контроллера (контроллеры движений, геймпад)
- Весь ввод осуществляется через стандартные API OpenXR
Двусторонняя связь
- Непрозрачные каналы передачи для пользовательских данных
- Низкая задержка между сервером и клиентом
Инструменты разработки
- HUD с потоковой статистикой в реальном времени (фреймворк CloudXR)
- Сетевая диагностика и мониторинг
- Телеметрия для анализа производительности
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Данные гауссова распределения интегрируют в 3D-формат glTF
