Marble, новая нейросетевая модель от World Labs, способна за минуты превратить единственное изображение в объёмную сцену, которую можно просматривать в WebXR через браузер очков виртуальной реальности.
World Labs основана в прошлом году. Её основатель Фей-Фей Ли наиболее известна созданием набора данных ImageNet, который способствовал развитию компьютерного зрения в 2010-х годах. По собственным словам, она понимала, что нехватка высококачественных размеченных данных является критическим узким местом рынка.
Как и многие технологии 3D-реконструкции за последние несколько лет, Marble использует гауссово распределение, располагая миллионы полупрозрачных цветных пятен (гауссиан) в трёхмерном пространстве. Особенностями решения стали разнообразие типов входных данных и скорость вывода.
Пока конкурирующие системы, такие как Horizon Hyperscape и Varjo Teleport, требуют сотен кадров и часы на обработку, в базовом режиме Marble может сгенерировать простую модель из одного изображения или текстовой подсказки за минуты. Для более продвинутых результатов нужна подписка за $20 (₽1600) в месяц.
Marble может использовать в качестве входных данных несколько изображений, короткое видео и 3D-структуру, используя инструмент под названием Chisel. Он позволяет создать объект или сцену с помощью грубых 3D-форм, как в игровом редакторе, а затем с помощью текста повысить детализацию.
С подпиской результаты работы Marble поддерживают интерактивное редактирование, расширение и возможность объединения нескольких миров. Вы также можете экспортировать их в виде 3D-сетки, хотя это занимает несколько часов. В веб-приложении можно бесплатно создавать собственные сцены и просматривать результаты в очках через WebXR.
К сожалению, качество генерации здесь уступает упомянутым Horizon Hyperscape и Teleport: поначалу детали, полученные непосредственно из входного изображения, относительно качественны, но по мере редактирования проявляются артефакты. Важный момент и в том, что детали за пределами кадра являются галлюцинациями, поэтому будут сильно отличаться от того, что на самом деле было вне объектива, если не предоставить ряд уточняющих изображений.
Тем не менее, несмотря на ограничения, возможность создавать онлайн объёмные сцены за минуты из одного изображения или предложения впечатляет, а возможность последующего редактирования с помощью пользовательского интерфейса редактора и естественного языка — тем более. Наконец, есть экспорт этих сцен в виде традиционных трёхмерных миров с управлением геометрией через Chisel, которая потенциально полезна разработчикам ВР-приложений.
Попробовать Marble можно на marble.worldlabs.ai. Обратите внимание, что без оплаты все созданные вами сцены будут доступны для публичного просмотра.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Tencent запустила нейросетевую платформу генерации 3D-моделей
