Исследователи из Университета Северной Каролины в Чапел-Хилле и Dolby Laboratories представили технологию EPIC, которая создаёт панорамное стереовидео с обзором 360° по текстовому описанию или изображению. Система формирует отдельные изображения для каждого глаза и увеличивает их разрешение до 4K. Такой подход может упростить производство иммерсивного контента для очков виртуальной и смешанной реальности.
Большинство современных генераторов видео создают обычные двумерные ролики. Для полноценного погружения необходимо не только охватить всё пространство вокруг зрителя, но и воспроизвести глубину сцены. Для этого каждый глаз должен получать изображение с немного отличающегося ракурса. Если нейросеть неправильно рассчитывает расположение объектов, зритель замечает искажения, которые могут вызывать дискомфорт.
Принцип работы
Авторы построили систему на основе открытой нейросети Wan2.1-1.3B и её адаптации PanoWan для генерации панорамного видео. Сначала модель создаёт последовательность изображений для левого глаза, затем алгоритм оценивает расстояния до объектов и рассчитывает ракурс для правого глаза. Нейросеть дополнительно восстанавливает участки сцены, которые открываются при смене точки наблюдения.
Главное новшество — метод оценки панорамной эпиполярной геометрии (Panoramic Epipolar Geometry Score, PEGS). Он измеряет, насколько согласованно система изображает одни и те же объекты с разных точек наблюдения, учитывая сферическую геометрию панорамного видео.
Исследователи также применили прямую оптимизацию предпочтений (Direct Preference Optimization, DPO). Алгоритм сравнивает несколько сгенерированных видеороликов, выбирает варианты с меньшими геометрическими ошибками и использует их для дополнительного обучения модели. Для этого не требуется большая библиотека настоящих панорамных стереозаписей.
На заключительном этапе система корректирует изображения для просмотра в любом направлении и повышает их разрешение до 4K с помощью суперразрешения. Таким образом, исходная нейросеть не создаёт видео непосредственно в 4K: высокое разрешение обеспечивает отдельный этап обработки.
Результаты испытаний
Авторы проверили технологию на двух выборках по 500 видеороликов. После дополнительного обучения показатель геометрической ошибки PEGS для стереопар снизился с 3,121 до 2,640 миллирадиана.
В отдельном сравнении с методом DissolveStereo исследователи изучили 50 роликов. Доля соответствий между изображениями, у которых геометрическая ошибка превышала установленный порог, сократилась с 8,2 до 2,6%. EPIC показала лучший результат в 46 случаях из 50.
Однако технология пока не обеспечивает полной согласованности изображения во времени. Авторы не смогли улучшить показатель, который одновременно учитывает стереоскопию и изменения сцены между кадрами. Кроме того, алгоритм исключает независимо движущиеся объекты из оценки геометрических ошибок.
EPIC открывает возможности для создания виртуальных путешествий, образовательных симуляций и иммерсивного видео по запросу. При этом исследователи представили экспериментальный метод, а не готовый коммерческий продукт. Работа также не содержит результатов испытаний комфорта просмотра с участием пользователей очков виртуальной реальности.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Учёные предложили энергоэффективный ускоритель гауссова сплэттинга
