Google открыла доступ к Genie 3, нейросетевой модели для генерации интерактивных реалистичных трёхмерных миров в реальном времени по мере произведения пользователем действий. Модель остаётся в тестировании, просто более широком: прототип доступен подписчикам Google AI Ultra в США в возрасте от 18 лет. Он позволяет пользователям создавать, исследовать и перерабатывать собственные творения.
Модель мира имитирует динамику окружающей среды, предсказывая, как она развивается и как на неё влияют действия человека. У команды Google DeepMind есть опыт создания агентов для конкретных сред, таких как шахматы или го, однако работа с многообразием реального мира потребовала системы иного класса. Google признаёт, что это ступень на пути к общему искусственному интеллекту.
Genie 3 генерирует путь пользователя в реальном времени по мере его движения и взаимодействия с миром с разрешением 720p. Модель имитирует физику и возможности взаимодействия для динамики, а согласованность позволяет моделировать любой сценарий реального мира — от робототехники, анимации и художественной литературы до исследования реальных мест.
Технология облачена в прототип веб-приложения, работающего на базе Genie 3, Nano Banana Pro и Gemini. Опыт основан на трёх базовых шагах:
- Создание эскизов мира — запрос с текстом и сгенерированными или загруженными изображениями для создания живой, расширяющейся среды. Здесь можно создать своего персонажа с перспективой от первого или третьего лица, свой мир и определить, как нужно его исследовать — от ходьбы и верховой езды, до вождения и полётов. Функция «Эскиз мира» из Nano Banana Pro обеспечивает более точное управление, давая предварительно просмотреть, как будет выглядеть мир, и изменить изображение, чтобы точно настроить макет перед погружением.
- Исследование — это интерактивная среда, которая ждёт, чтобы её исследовали. По мере движения пользователя Project Genie генерирует путь вперёд в реальном времени на основе действий аватара. Можно регулировать камеру.
- Переработка мира — на основе готовых миров можно творить новые. Все произведения доступны в галерее. По завершении можно загрузить видео своих погружений. Эта функция полезна и пользователям для выгрузки артефакта, и Google для продвижения.
Разработчики Google Labs говорят о нескольких ограничениях:
- Миры могут выглядеть не совсем реалистично и не всегда соответствовать подсказкам, изображениям или физике реальности
- Персонажи могут быть менее управляемыми или иметь большую задержку в управлении
- Генерация может идти до 60 секунд
Более подробную информацию можно найти на странице проекта.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: World Labs выпустила API для модели генерации ВР-миров Marble
