Snap на конференции по компьютерной графике и интерактивным технологиям SIGGRAPH 2022 представила доклад о технологии NeROIC. Это новый способ создания трёхмерных моделей для дополненной реальности из фотографий и видео в онлайн-источниках, таких как поиск по изображениям в Google.
NeROIC или Neural Object Capture and Rendering from Online Image Collections устраняет необходимость фотографирования и рендеринга изображений в физической студии, что сегодня тормозит процесс создания цифровых активов для большинства компаний и отдельных людей.
Snap говорит, что её исследователи нашли способ генерировать модель по кадрам с разных ракурсов через двухэтапную нейросетевую обработку:
Наша двухэтапная модель использует в качестве входных данных изображения объекта в различных условиях. С позициями камеры на изображениях и масками переднего плана объекта, полученными другими современными методами, мы сначала оптимизируем геометрию сканируемого объекта и уточняем позиции камеры путём обучения сети на основе NeRF. Затем мы вычисляем нормаль поверхности из геометрии (представленной функцией плотности), используя наш слой извлечения нормалей. Наконец, наша модель второго этапа декомпозирует свойства материала объекта и определяет условия освещения для каждого изображения.
Познакомиться с NeROIC можно на GitHub. Там же вас ждёт руководство по обучению модели на вашем собственном наборе данных.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: РХТУ создал стекло с высоким коэффициентом преломления для очков дополненной реальности
