NVIDIA выпустила Lyra 2.0, фреймворк для крупномасштабной генерации исследуемых 3D-миров. Технология делает из одного изображения геометрически согласованную трёхмерную среду с поддержкой перемещения вперёд и назад, решая проблемы «пространственного забывания» и «временного дрейфа» при генерации длинных видеороликов.
Популярные модели для генерации видео через сложные 3D-среды страдают от потери памяти при работе с траекториями камер на больших расстояниях: когда точка обзора покидает определённую область, а затем возвращается, модель «забывает» исходную структуру, что приводит к смещению объектов, размытию или геометрическому разрушению.
Для решения этой проблемы в Lyra 2.0 внедрили два ключевых решения:
- Покадровая память трёхмерной геометрии и механизм маршрутизации: система непрерывно «держит в уме» информацию о 3D-геометрии для каждого кадра в процессе генерации. При перемещении точки обзора модель не создаёт новое из ничего, а извлекает исторические кадры из пространственной памяти и устанавливает соответствия для поддержания согласованности.
- Обучение с самоподкрепляющейся коррекцией дрейфа: модель учится не только генерировать идеальные изображения, но и активно корректировать дрейф ошибок во времени путём «самоподкрепляющихся исторических данных», то есть преднамеренного внедрения накопленных искажённых выходных данных в обучающие данные вместо пассивного распространения ошибок.
В практических приложениях пользователям достаточно ввести исходное изображение, и Lyra 2.0 сможет пошагово генерировать видеоролики высокого качества с обходом сцен на основе заданных траекторий движения камер, а затем в реальном времени преобразовывать их в трёхмерные гауссовы пятна или сетки с использованием технологии прямой реконструкции. Сгенерированные сцены можно не только свободно исследовать с помощью интерактивного графического интерфейса, но и прямо экспортировать в движки.
Информация о проекте Lyra 2.0, включая открытый исходный код, есть на GitHub и Hugging Face.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Niantic Spatial представила обновлённые Scaniverse и VPS
