Facebook поделилась деталями нового экспериментального API Passthrough для использования данных с камер Quest 2 в создании дополненной и смешанной реальности.
Новая функция доступна Unity-разработчикам и только на Quest 2. В будущем Facebook обещает выпустить новые подходящие устройства.
Приложения с API Passthrough не могут получить прямой доступ к изображениям с камер, просматривать или хранить изображения или видеозаписи вашего физического окружения с датчиков Oculus Quest 2, а «сырые» изображения с четырёх встроенных камер «обрабатываются на устройстве».
Разработчикам доступны следующие возможности:
- Композиция: объединение данных сквозного просмотра с виртуальной реальностью с помощью существующих методов смешивания, таких как перфорация и альфа-смешивание.
- Стили: применение стилей и оттенков к слоям из предварительно определённого списка, включая наложение цвета на канал, рендеринг краёв, настройку непрозрачности и постеризацию.
-
Кастомная геометрия: интеграция сквозных изображений в сетку вместо стиля по умолчанию — например, для проецирования сквозного вида на плоскую поверхность.
Facebook видит в API Passthrough разные возможности. Например, одной из первых поддержку интерфейса получила платформа для дистанционного рабочего взаимодействия «Spatial»: теперь здесь можно взаимодействовать с людьми и животными поблизости прямо в виртуальной реальности, так как API помогает интегрировать в виртуальное окружение объекты реального мира.
С таким же успехом подобная интеграция может появиться в играх. А расширение возможностей алгоритмов способно вывести их за пределы ВР-очков — например, в очки дополненной реальности для работы, навигации, игр и других сценариев.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Facebook отчиталась об исследовании имплантируемых нейрокомпьютерных интерфейсов
