Google подала в патентное ведомство США заявку на метод создания системы сжатия видеоданных для кадров, производимых с применением фовеального рендеринга. В описании разработки инженеры подчёркивают её важность в первую очередь для автономных очков виртуальной реальности, платформу для которых под названием Daydream создают в Маунтин-Вью.
Заявка объясняет, что в автономных очках линии передачи данных от вычислительной системы до дисплея имеют ограниченную полосу пропускания. Её расширение будет иметь нетривиальные последствия для потребление энергии. Такие стандарты, как DisplayPort, уже включают дополнительную систему сжатия, но лежащие в их основе алгоритмы не предназначены для контента с переменной чёткостью в одном кадре.
Новая система сжатия отдаёт приоритет качества элементам в
области высокой детализации, где результат должен остаться «фактически без
потерь». Объединение изображений с высокой и низкой детализацией без видимых
артефактов описывается как требующее специального процессора. К счастью, он, в
свою очередь, описан как «относительно простой».
Google подала заявку на патент в июле 2017 года. Документ явно пересекается с опубликованной Google Research в конце 2017 года статьёй доктора Бехнама Бастани (Behnam Bastani) «Strategies for Foveated Compression and Transmission». Бастани руководил всей исследовательской работой Google по визуализации виртуальной реальности. В 2018 году он перешёл на Facebook, чтобы работать в отделе Facebook Reality Labs под руководством Майкла Абраша (Michael Abrash).
Фовеальный рендеринг подразумевает снижение разрешения кадра
на основе данных о внимании пользователя: чем дальше часть кадра от центра поля
зрения, тем ниже разрешение и больше сэкономленные ресурсы, которые можно перераспределить
на рендеринг более качественной картинки или не использовать вовсе, снижая
требования контента к вычислительной мощности компьютера. Эффективный фовеальный
рендеринг возможен благодаря особенностям человеческого зрительного аппарата,
который распознаёт более детализированную информацию, но с меньшей скоростью, в
центре поля зрения, и менее детализированную, зато быстрее, по мере приближения
к периферии.
Данный вид рендеринга является одной из основополагающих технологий в развитии виртуальной реальности, поскольку в теории повышает воспринимаемое качество картинки без дополнительных ресурсов на её расчёт. На текущем этапе разрешение исключительно важно для качества погружения пользователя в контент, то есть силы воздействия контента, будь то реклама, любое другое взаимодействие с брендами, игры, общение или обучение.
Ранее в этом месяце решение для адаптивного сжатия данных при беспроводной передаче картинки с фовеальным рендерингом показала DisplayLink.
Не пропускайте важнейшие
новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику
в Telegram, ВК, Twitter и Facebook!
Далее: Технология Asynchronous Spacewarp 2.0 улучшит рендеринг на платформе Oculus
