Подразделение DeepMind в Google представило нейросетевую модель Genie 4. Она создаёт интерактивные виртуальные среды, которые меняются в ответ на действия пользователя, и одновременно генерирует звуки, музыку и речь персонажей. Пока разработка доступна только ограниченной группе испытателей.
Genie 4 позволяет менять происходящее непосредственно во время сеанса с помощью текстовых команд: перемещать камеру, менять погоду, добавлять предметы и персонажей. Модель продолжает генерировать изображение с учётом этих изменений и действий пользователя. Разработчики показывают столкновения объектов, движение воды, поведение людей и их диалоги, которые меняются по ходу взаимодействия. Звуковое сопровождение модель создаёт одновременно с изображением, а не добавляет к заранее подготовленному ролику.
За согласованность происходящего отвечает сочетание нескольких систем. Мультимодальная Gemini Omni помогает воспроизводить внешний вид и поведение окружающего мира, а Gemini 3.8 Flash анализирует поступающие кадры, разбивает задачи на последовательные действия и проверяет их выполнение. В отдельном эксперименте Gemini 4 Argon управляла последовательностью действий при моделировании поведения человекоподобного робота. Такой подход Google рассматривает как основу для дальнейшего развития гибридных моделей, соединяющих генерацию изображения с логическим планированием.
Испытатели уже используют Genie 4 для предварительной визуализации киносцен, разработки игровых концепций и моделирования различных ситуаций. Например, режиссёр может на ходу менять освещение и ракурс, а разработчик игры — проверять идею интерактивной среды ещё до написания кода. Исследователи также экспериментируют с превращением архивных фотографий в доступные для исследования сцены. Для пространственных вычислений технология интересна возможностью создавать изменяемые виртуальные окружения по описанию, однако поддержку ВР-гарнитур Google пока не заявляла, а все демонстрации используют обычное управление с клавиатуры и мыши.
В начале года Google расширила доступ к предыдущей модели Genie 3 через Project Genie. Тогда подписчики Google AI Ultra в США получили возможность создавать и исследовать интерактивные миры. Новая версия добавляет генерацию звука, более сложное поведение персонажей и возможность менять сцену текстовыми указаниями прямо во время её воспроизведения.
У Genie 4 остаются существенные ограничения. Google предупреждает, что при длительном взаимодействии и многочисленных изменениях модель может терять постоянство объектов и деталей, неточно воспроизводить физические процессы и реальные места, ошибаться в звуке и плохо отображать текст. Непрерывное взаимодействие ограничено несколькими минутами.
Компания планирует предоставить доступ подписчикам Google AI Ultra в Project Genie и некоторым разработчикам через Gemini API и Google AI Studio, но срок широкого выпуска не назвала.
Не пропускайте важне йшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Иркутский медуниверситет закупает виртуальный фармзавод за ₽4 млн
