Компания SpAItial, разработчик систем физического моделирования, представила Echo-2, новейшую модель генерации исследуемых иммерсивных трёхмерных сред на основе текстовых или графических входных данных.
В отличие от моделей создания последовательных видеокадров, среди недостатков которых, по словам компании, высокие вычислительные затраты, дрейф геометрии и непоследовательность во времени, Echo-2 генерирует пространственно устойчивую 3D-сцену из одного изображения или текстового запроса. Пользователи могут свободно по ней перемещаться.
Модель включает возможности понимания и редактирования сцен. Echo-2 генерирует маски семантической сегментации для идентификации отдельных объектов в сцене (таких как стулья, столы, полы и стены), что позволяет локально манипулировать объектами, сохраняя общую структуру и согласованность среды. Пользователи могут удалять, добавлять или заменять объекты с помощью текстовых подсказок, что найдёт применение в дизайне интерьеров, планировании зданий и архитектурной визуализации. Кроме того, модель способна менять стиль целых сцен для изучения альтернативных направлений дизайна.
SpAItial утверждает, что новинка полезна в задачах моделирования реальных сред, в том числе для обучения робототехники перед выпуском на настоящие полигоны. Ограничений по размерам и количеству цифровых полигонов тут не будет, будут лишь вычислительные затраты. Также среди кейсов упоминается преобразование двухмерных планов зданий в трёхмерные и создание интерактивных экскурсий для продаж недвижимости.
По данным SpAItial, Echo-2 превосходит модель Marble-1.1 от World Labs по трём показателям в бенчмарке WorldScore: по выравниванию контента, субъективному качеству и оценке мира. В обновлениях компания обещает новые динамические и физические принципы работы для поддержки интерактивных симуляций и продвинутого обучения роботов.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Модель Lyra 2.0 стала гораздо лучше генерировать 3D-миры по изображениям благодаря памяти
