Команда Android XR в Google выпустила новые инструменты, которые помогут разработчикам и пользователям превращать творческие идеи в интерактивные иммерсивные приложения с помощью нейросетевого помощника Gemini.
Инженеры Google в качестве эксперимента с использованием Gemini создали биологическую симуляцию взаимодействия между клетками крови и отобразили её с помощью WebGL и Three.js. Затем преобразовали этот контент в пространственный через API WebXR. Таким образом помощника привлекли к созданию интерактивного контента.
Эксперимент привёл к разработке инструментов, которые позволяют пользователям создавать 3D-прототипы и интерактивные модели путём нейросетевой генерации. Для начала пользователям необходимы очки Samsung Galaxy XR и доступ к мультимодальной модели искусственного интеллекта Google Gemini 3 Pro.
Начать можно с предварительно созданного «гема» XR Blocks. «Гемы» (англ. Gem) — это специально разработанные версии Gemini, которые выступают в качестве специализированных экспертов для конкретных задач. Вместо этого также можно создать собственную версию гема, загрузив специальный промт. Это даст Gemini расширенные возможности восприятия для реалистичной физики дополненной реальности.
Чтобы запустить опыт, нужно открыть Gemini в Chrome на Galaxy XR, начать новый чат со своим гемом и выбрать Canvas. Можно попросить помощника встроить в опыт Gemini Live, чтобы напрямую общаться с Gemini и продолжать творить, не покидая иммерсивную сессию.
После завершения работы созданные объекты имеют веб-ссылки. Ими можно делиться.
Узнать больше о новых возможностях Gemini и посмотреть демонстрации XR Blocks можно на Github.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Glimmer — новый язык дизайна приложений для умных очков от Google
