Facebook объяснила, зачем новый API Passthrough (спойлер: для нормальной клавиатуры)

Facebook поделилась деталями нового экспериментального API Passthrough для использования данных с камер Quest 2 в создании дополненной и смешанной реальности. 

Новая функция доступна Unity-разработчикам и только на Quest 2. В будущем Facebook обещает выпустить новые подходящие устройства. 

Приложения с API Passthrough не могут получить прямой доступ к изображениям с камер, просматривать или хранить изображения или видеозаписи вашего физического окружения с датчиков Oculus Quest 2, а «сырые» изображения с четырёх встроенных камер «обрабатываются на устройстве».

Разработчикам доступны следующие возможности: 

  • Композиция: объединение данных сквозного просмотра с виртуальной реальностью с помощью существующих методов смешивания, таких как перфорация и альфа-смешивание.

  • Стили: применение стилей и оттенков к слоям из предварительно определённого списка, включая наложение цвета на канал, рендеринг краёв, настройку непрозрачности и постеризацию.

  • Кастомная геометрия: интеграция сквозных изображений в сетку вместо стиля по умолчанию — например, для проецирования сквозного вида на плоскую поверхность.

Facebook видит в API Passthrough разные возможности. Например, одной из первых поддержку интерфейса получила платформа для дистанционного рабочего взаимодействия «Spatial»: теперь здесь можно взаимодействовать с людьми и животными поблизости прямо в виртуальной реальности, так как API помогает интегрировать в виртуальное окружение объекты реального мира.

С таким же успехом подобная интеграция может появиться в играх. А расширение возможностей алгоритмов способно вывести их за пределы ВР-очков — например, в очки дополненной реальности для работы, навигации, игр и других сценариев.

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в TelegramВКTwitter и Facebook!

Далее: Facebook отчиталась об исследовании имплантируемых нейрокомпьютерных интерфейсов