Инженеры Google научили нейросети семейства Gemini быстро преобразовывать пользовательские запросы в полностью интерактивные, учитывающие физические процессы веб-приложения WebXR для Android XR с помощью Gemini Canvas и открытого фреймворка XR Blocks. Результаты проекта под названием Vibe Coding XR уже можно попробовать вживую.
Vibe Coding XR позволяет разработчикам быстро проверять гипотезы как в смоделированных средах на настольных компьютерах, так и в очках на Android XR. Такая проверка, по словам авторов проекта, позволяет сэкономить дни работы над идеями, которые будут отброшены или приняты с форсированием разработки. Она также упрощает создание интерактивного образовательного контента с демонстрацией естественнонаучных и механических процессов.
Vibe Coding XR сочетает рассуждения Gemini с длинным контекстом, специальные системные подсказки и шаблоны кода для автоматической обработки пространственной логики. Благодаря предзагруженным данным о лучших практиках создания ПО, система в реальном времени обучается премудростям дизайна с примерами и преобразует естественный язык непосредственно в интерактивные приложения с реалистичной физикой для Android XR менее чем за минуту.
Упрощённый алгоритм работы с Vibe Coding XR примерно таков:
- Пользователь описывает желание, не имея предварительных профессиональных знаний: он открывает XR Blocks Gem в Chrome на очках с Android XR (например, Galaxy XR), вводит запрос с помощью клавиатуры или голоса.
- Gemini изучает примеры XR Blocks, разрабатывает логику и интерфейс, а затем создаёт интерактивное приложение.
- Для демонстрации в реальном времени пользователь Android XR нажимает виртуальную кнопку для входа в приложение и мгновенно видит результат, а затем может поделиться общедоступной ссылкой.
Для упрощения тестирования идей команда проекта также представила среду «имитации реальности» в настольной версии Chrome. Она позволяет быстро создавать прототипы и тестировать взаимодействия перед развёртыванием на очках.
Базовая структура XR Blocks построена на распространённых веб-технологиях, таких как WebXR, three.js и LiteRT.js. Основной движок управляет сложным взаимодействием подсистем, необходимых для пространственных вычислений. Контекст запроса включает следующие компоненты:
- Персона и рекомендации — определяет, что LLM является экспертом в предметной области, который следует лучшим практикам для иммерсивных сред (например, пространственной компоновке, масштабированию и расстояниям взаимодействия)
- Управление пакетами — определяет, как следует обрабатывать зависимости внутри XR Blocks, обеспечивает соблюдение рекомендуемых стилей по умолчанию
- Исходный код и шаблоны — дают исходный код из предварительно отобранного инженерами набора шаблонов и примеров XR Blocks в контекстном окне. Такая основа сокращает галлюцинации и способствует строгому соблюдению допустимых вызовов API и установленных шаблонов проектирования
Опробовать работу Vibe Coding XR можно прямо сейчас.
Примеры
Репетитор по математике
Задание: «Визуализируй теорему Эйлера в геометрии. Объясни понятия вершин, рёбер и граней с помощью выделения на разных примерах». Gemini выбирает тетраэдр, куб и октаэдр в качестве трёх примеров, визуализирует их и позволяет пользователям использовать различные типы пояснений.
Физическая лаборатория
Задание: «Создай интерактивный физический эксперимент: имея разные объекты по обе стороны весов, используй разные грузы (с обозначениями), чтобы уравновесить весы». Пользователи могут выбирать и бросать разные грузы, чтобы интуитивно понять, как работает базовая весовая система в реальном мире.
Иммерсивная химия
Задание: «Создай интерактивную химическую лабораторию, в которой пользователи смогут, сжимая пальцы, запускать и наблюдать три эксперимента: 1) поджигание метана на воздухе с помещением сухого холодного стакана над пламенем — пламя станет бледно-голубым, и на внутренней стенке стакана образуются капли жидкости; 2) поджигание этилена на воздухе — пламя станет ярким, появится чёрный дым и выделится тепло; 3) поджигание ацетилена на воздухе — пламя станет ярким, появится густой дым и выделится тепло».
Спорт
Задание: «Позволь мне играть в волейбол руками и взаимодействовать с окружающей средой. Волейбольные мячи имеют текстурированную поверхность, медленно запускаются из красного кольца и легко отскакивают от руки».
Игра
Задание: «Создай игру Chrome Dino в XR. Динозавр отображается перед пользователем в вокселях, а каждый кактус несётся к пользователю по полупрозрачной дорожке. Добавь звук».
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
