Наши глаза передают с максимальной чёткостью только картинку в центре (здесь важны детали) и снижают чёткость к периферии, где нам важнее скорость, то есть быстрая реакция на возможные угрозы. Используя эту особенность, технология фовеального рендеринга оптимизирует затраты ресурсов на отрисовку мира в виртуальной реальности.
Своим названием она обязана центральной ямке (лат. fovea centralis) — небольшому углублению, находящемуся в центре жёлтого пятна сетчатки глаза. Эта область обладает максимальной остротой зрения, здесь фокусируется изображение точки фиксации зрительного объекта.
Обычно фовеальный рендеринг предполагает, что шлем следит за положением глаз пользователя через специальные маленькие камеры на внутренней части корпуса. Они передают данные в компьютер, а он, в свою очередь, максимизирует качество картинки по центру поля зрения и экономит ресурсы на том, что расположено в отдалении. Oculus говорит, что окулография не обязательна.
Представители компании рассказали о технологии «Mask-based foveated rendering» (MBFR) или «Фовеальный рендеринг на основе маски». Она «уменьшает скорость затенения периферийной области глазных буферов, выключая некоторые пиксели на основе шахматного шаблона». С помощью MBFR разработчики могут выключать разное количество пикселей. На изображении выше слева не работают 50 процентов пикселей, справа — оригинал, а в центре находится восстановленный результат.
Перед вами сцена, которая демонстрирует выключение пикселей. Здесь четыре области: центральная окружность сохраняет все пиксели, в остальных трёх нет 25%, 50% и 75% пикселей соответственно. Стоит открыть в новой вкладке и приблизить.
Oculus объясняет:
MBFR уменьшает затраты ресурсов графического процессора на затенение пикселей, выключая подмножество пикселей в прогонах рендеринга мира. Но это также приводит к дополнительным расходам в постобработке для восстановления выключенных пикселей.
Это означает, что разработчики могут рассчитывать на экономию более 10% вычислительной мощности графического процессора, но с дополнительными затратами при восстановлении картинки.
Подробности доступны в блоге Oculus. Разработчики, желающие начать эксперименты с MBFR, найдут всё необходимое в специальном репозитории. Технология работает с Unreal Engine версий 4.19 и 4.20-preview.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Новые методы экономного фовеального рендеринга и отображения от Google
