Группа швейцарских учёных представила исследование нового метода нейросетевого повышения разрешения для очков виртуальной, дополненной или смешанной реальности. Авторы работы модифицировали подход с так называемым суперразрешением (Super Resolution, SR).
Технология суперразрешения важна для доставки качественного контента при низкой пропускной способности связи и для поддержки сложной графики на современных дисплеях, которые уже шагнули за пределы 4К на глаз. Однако реконструирование кадров требует больших вычислительных ресурсов. Исследователи решили сначала дать системе изучить, какие части кадра и его характеристик будут наиболее востребованы зрителем.
Согласно выдвинутой гипотезе, сложные модели глубоких сверточных сетей лучше восстанавливают высокочастотные детали изображения, но требуют больших вычислительных ресурсов. Вместо равномерного применения сложных SR-алгоритмов ко всему кадру они предлагают систему, которая сначала анализирует локальные участки изображения с точки зрения восприятия человеком (используя модель чувствительности к контрасту и эффекты маскировки), а затем адаптивно выбирает наиболее подходящий по мощности метод восстановления.
Для оптимизации предложены два механизма — использование «ветвления» внутри сети VDSR (Very Deep Super-Resolution) и применение вариантов EDSR (Enhanced Deep Residual Network for Single Image Super-Resolution) с разной глубиной. На самом низком уровне иерархии моделей реконструкции оказалась бикубическая интерполяция.
Пробы технологии на людях показали, что новый метод снижает вычислительные требования без ощутимой потери качества. В частности, при увеличении в два раза количество операций снижается до 50% для VDSR и до 78% для EDSR, а при увеличении в четыре раза — до 37% и 77% соответственно. Затраты на работу самой перцептивной модели составляют менее 1% от затрат на апскейлинг.
Метод, говорят исследователи, не зависит от платформ и хорошо подходит для пространственных компьютеров.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Невозможные объекты: виртуальная реальность помогла ощутить фигуры-иллюзии
