Rift S получили несколько камер, которые смотрят в разные стороны и с помощью компьютерного зрения отслеживают пространственное положение пользователя без внешних датчиков. Ещё одна важная функция этой системы — это способность передавать пользователю потоковое видео, делая очки прозрачными. Эта функция называется Passthrough+, где «+» означает низкую задержку, а также стереоскопически правильное, широкое поле обзора.
Passthrough+ справляется с «прозрачностью» лучше, чем её аналоги в других очках. Но скоро будет дополнительно улучшена вместе с функцией Asynchronous Spacewarp, благодаря компании NVIDIA и её технологии Optical Flow.
В Quest тоже есть функция трансляции видео с камер на дисплеи очков, однако Oculus не дала ей имя «Passthrough» из-за задержки и отсутствия стереоскопии. Rift S заслужили эту галочку в списке достижений тем, что могут использовать намного более высокую вычислительную мощность персонального компьютера для вычисления удалённости объектов, положения человека и репроецирования изображения с камер для настоящего, глубокого стереоэффекта. Для нас эти процедуры выливаются в естественную трёхмерную картинку.
В корпоративном блоге Oculus рассказала, что Passthrough+ использует технологию, разработанную для Asynchronous Spacewarp (ASW), решения для добавления недостающих кадров при нехватке мощности рендеринга. ASW делает это путём анализа движения в предыдущих кадрах и предсказания того, как оно должно продолжаться в будущих. На основе этого анализа синтезируются новые кадры, которые заполняют стек до комфортных 90 кадров в секунду.
Passthrough+ работает с похожими алгоритмами для сравнения снятых одновременно кадров с камер Rift S, чтобы понять расстояние между объектами в каждом кадре, а затем создать правильные искажения для стереоскопического эффекта.
Этот метод аналогичен методам большинства технологий кодирования видео, поэтому ASW и Passthrough+ используют видеодекодер на графических процессорах NVIDIA и AMD, чтобы выполнять эту работу «асинхронно» — без негативного влияния на работу графического процессора по рендерингу виртуального мира.
Обновление Passthrough+ и ASW, о котором мы вынуждены говорить с такой предысторией, сможет использовать возможности RTX и других карт архитектуры Turing, которые поддерживают новую технологию Оптического потока (Optical Flow) от NVIDIA:
Optical Flow увеличивает разрешение макроблока в четыре раза, увеличивает разрешение вектора движения, позволяет следить за объектами через изменения интенсивности и выделяет правдоподобный оптический поток через коэффициенты сжатия. В результате получается половина средней ошибки конечной точки по сравнению с традиционными векторами движения в кодирования видео. Качественные результаты в равной степени впечатляют. С ASW объекты ближнего поля отслеживаются более надёжно. Галлюцинации качающегося света гораздо реже, а повышенная точность означает, что движение более точно отслеживается в отношении отдельных частиц и объектов.
В итоге, подчёркивает Oculus, получается более точная оценка движения и уменьшение количества и размера артефактов при использовании ASW. Аналогично, в Passthrough+ на процессорах Turing улучшится глубина и стабильность изображения:
Для Passthrough+ это означает повышенное стереоразрешение проецируемого мира вместе с правильным отслеживанием и сопровождением тонких объектов. Столкнувшись с областями с низкой контрастностью или передержкой, NVIDIA Optical Flow может выводить значимые показатели несоответствия, предотвращая визуальные дыры или пропуски данных, когда мы оцениваем глубину сцены.
Oculus говорит, что усовершенствования появятся в июне и будут совместимы с графическими процессорами Turing, на которых установлены последние версии драйверов.
Компания также оптимистична по поводу остальных возможностей технологии:
Это не конец истории с ASW и Optical Flow. Optical Flow не только отслеживает движение, но также сообщает пространственное расположение сцены. Есть много информации, которую мы можем получить о средах с помощью Optical Flow, и ни один [из типов данных] не подходит для традиционного декодера видео. SDK оптического потока открывает множество возможностей и исследований […].
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: SteamVR 1.4.14: Motion Smoothing для видеокарт AMD
