8th Wall внедрила в свой редактор дополненной реальности новые модули генеративного искусственного интеллекта для интеграции проектов с нейросетевыми технологиями таких компаний, как Inworld и OpenAI.
Платформа 8th Wall открывает разработчикам инструменты ИИ, такие как DALL·E и Stable Diffusion для превращения текстовых описаний в изображения, Blockade Labs для добавления 360-градусных изображений к небу, Inworld AI для интерактивных персонажей, Hugging Face и ControlNet для добавления текстур к лицам или Move.ai и Wonder Dynamics, чтобы добавить объектам реалистичности в движении.
Новые модули упрощают ИИ-творчество и обеспечивают контенту «реиграбельность», создавая уникальные для каждого визита сценарии взаимодействия с контентом. Разработчику достаточно добавить нужный модуль в проект и ввести ключ API, чтобы задействовать возможности нейросетей на любых поддерживаемых платформой устройствах, от смартфонов до очков.
Интеграция с Inworld позволяет наполнять WebAR интерактивными персонажами под управлением искусственного интеллекта. Компания заявляет, что они могут учиться, адаптироваться и взаимодействовать с пользователями на более личном уровне. Ранее к этим аватарам подключился конкурент 8th Wall — Geenee.
Модуль Inworld комбинирует её аватары с инструментами платформы. Например, разработчики могут объединить людей, животных и так далее с Image Targets или World Effects, чтобы создать среду, в которой зрители видят знакомых персонажей на упаковке продукта и начинают с ними естественный разговор. По словам 8th Wall, с помощью технологии Character Brain от Inworld аватары могут имитировать широкий спектр речевых выражений, что делает беседы с ними разными и контекстуальными. Максимум возможностей покажет тестовый проект.
Модуль с DALL·E и ChatGPT от OpenAI — это преобразование текста в изображения, включая новые текстуры для трёхмерных объектов, а также понимание и адекватные реакции на запросы пользователей в текстовых диалогах. Более того, две нейросетевые модели можно сочетать для более сложного конвейера. Здесь тоже есть образец проекта, который стоит изучить перед созданием собственного контента или взять за его основу.
Похожие возможности недавно представла российская WebAR-платформа MyWebAR. Она начала генерировать трёхмерные модели по описанию.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Mixed Reality Toolkit от Microsoft становится независимой opensource-организацией
