Новая нейросетевая модель SAM 3D Objects из недр Meta* может переносить объекты реального мира в виртуальную реальность в виде 3D-объектов высокого качества за считанные секунды. У модели открытые исходники и наглядные демонстрации.
Уже много лет у разработчиков ПО и авторов разнообразного контента есть возможность создавать 3D-модели объектов реального мира, используя десятки снимков с разных ракурсов и фотограмметрию. Например, RealityScan от Epic Games обрабатывает данные в облаке примерно 15–45 минут, а Apple предлагает API записи объектов для iPhone Pro с обработкой примерно за пять минут.
Однако за последний год появились модели, способные создавать трёхмерные объекты из одного изображения за считанные секунды. Они не обеспечивают качества фотограмметрии, но оно постоянно растёт.
В качестве примера применимости этого прогресса к виртуальной реальности можно привести модель TripoSR, которая через API Stable Fast 3D от Stability AI быстро производит виртуальные объекты из реальных и работает в приложениях для очков. Но TripoSR почти два года. Следующим современным примером стала SAM 3D Objects, которую Meta запустила несколько дней назад.
Её можно бесплатно протестировать в браузере: дайте ей изображение и выберите, какой объект хотите преобразовать в трёхмерный. Через несколько секунд вы увидите интерактивный результат.
Демонстрация не предназначена для мобильных устройств, поэтому вам, вероятно, потребуется полноформатный компьютер, планшет или очки. Кроме того технологию не готовили для одушевлённых объектов. Для них есть SAM 3D Body.
Публичная демо-версия не позволяет скачать 3D-модель. Зато у SAM 3D Objects открытый исходный код, который есть на GitHub и Hugging Face. Это означает, что разработчики могут разместить её на облачной платформе с мощными графическими процессорами и выдавать результаты качественного рендеринга прямо в приложения виртуальной реальности, от метавселенных до тривиального планирования обстановки в своём жилище.
Meta не раскрывает планов по добавлению этой функции в Horizon Worlds, но подобное кажется естественным шагом, особенно когда в соцсети уже появились многопользовательские сканы, а на носу генерация целых миров по текстовому описанию.
Подробный отчёт о разработке Objects доступен в PDF.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Reality Labs отчиталась о создании WorldGen, генератора трёхмерных миров по описанию
