Foveated streaming (фовеальная потоковая передача или трансляция) стала одной из главных функций Steam Frame вместе с поддержкой Proton и FEX. Пользуясь отслеживанием глаз, инженеры Valve организовали аналог фовеального рендеринга для беспроводной сети, который сокращает требуемую ширину канала, поскольку передавать в высоком качестве нужно только центр поля зрения.
Steam Frame предлагает несколько способов игры: локально на собственном процессоре и в трансляции с компьютера неподалёку. Для последнего в комплекте у очков есть специальный передатчик Wi-Fi 6E, а в самих очках модуль Wi-Fi 7 c разделёнными антеннами для трансляции на частоте 6 ГГц и одновременной связи с Интернетом на 5 ГГц.
Даже выделенный высокоскоростной канал связи может переполниться от передачи данных для разрешения 2160×2160 на каждый глаз с кадровой частотой до 144 Гц и качественным пространственным звуком. Valve решила отправлять с компьютера изображение самого высокого качества только в центре поля зрения игрока.
С учётом того, что фовеальная область составляет примерно 10% от полного поля зрения, это даст многократное увеличение доступной пропускной способности, сокращение задержки и повышение стабильности соединения.
Вместо того чтобы отправлять два изображения (по одному для каждого глаза), система отправляет четыре. Два в низком разрешении для всего поля зрения и два фрагмента в высоком разрешении. Две камеры отслеживания глаз у линз достаточно быстрые, чтобы вычисления были незаметными.
Протестировавшие устройство журналисты подтверждают, что не могли разглядеть ни артефакты, ни области низкого разрешения, ни разницу между активной и деактивированной функцией. Другими словами, экономия не сказывается на пользовательском опыте.
Ключевое отличие от фовеального рендеринга заключается в том, что трансляция не снижает требования к производительности компьютера. Она работает поверх, поэтому не поможет поднять слишком слабую машину на уровень виара. Зато технология не требует действий со стороны разработчиков, экономит данные, сокращая проблемы с перегрузкой канала и может работать вместе с фовеальным рендерингом.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Ultraleap ушла в музыку. Компанию поглотил производитель цифровых инструментов ROLI
