В прошлом году на Meta* запустила (IWSDK), фреймворк с открытым исходным кодом для создания браузерного ВР-контента. Он берёт на себя сложные задачи разработки (физика, отслеживание рук, взаимодействие, перемещение тела и пространственный интерфейс), позволяя человеку сосредоточиться на идее и творчестве. Теперь в инструментарий добавили нейросетевых агентов для дополнительной автоматизации.
Агенты пишут код, тестируют взаимодействия и исправляют ошибки вместе с человеком. И для получения на выходе ВР-приложения не обязательны Quest и в принципе очки.
Проверку эффективности IWSDK с агентными рабочими процессами устроили в старом демо-приложении на WebXR, Project Flowerbed. В разработке он требовал написания десятков тысяч строк кода. Перестройка кодовой базы с нуля, то есть создание на основе имеющейся концепции интерактивного ВР-проекта для веба, с агентами заняла 15 часов.
По словам Meta, веб идеально подходит для разработки с использованием ИИ. Здесь отсутствует длительный этап компиляции, поэтому сети могут писать код, перезагружать его и мгновенно видеть результаты, тестируя написанное и проходя через множество циклов без участия человека. Это замкнутая система, на выходе которой — рабочий результат.
IWSDK работает с разными помощниками по программированию на основе ИИ, включая Claude Code, Cursor, GitHub Copilot и Codex. Цикл, согласно официальному описанию, таков:
- Квалифицированная генерация кода — агенты генерируют код, соответствующий шаблонам фреймворка и передовым практикам, поскольку могут действовать на основе документации и кодовой базы IWSDK.
- Понимание и тестирование сцены — агенты делают скриншоты виртуальной сцены и понимают позицию, расположение и номенклатуру каждого объекта, принимая обоснованные решения. ИИ взаимодействует с миром, то есть перемещается, подбирает объекты, нажимает кнопки и имитирует жесты рук, проверяя, работает ли всё в динамике.
- Проверка — при обнаружении неполадок агент может самостоятельно вносить и тестировать изменения, пока не решит все задачи. Ему можно давать обратную связь — например, попросив замедлить движения или разнести объекты подальше. Он сопоставляет слова с нужными объектами, корректирует их настройки и визуально подтверждает изменения.
Для начала нужно обзавестись Node.js 20 или более поздней версии, браузером Chrome или Edge. Создайте проект одной командой (npm create @iwsdk) и выберите свой нейросетевой инструмент (Claude Code, Cursor, GitHub Copilot или Codex). Настройка автоматическая. Опишите пожелания и наблюдайте за работой.
В процессе можно включить режим совместной работы, чтобы действовать с ИИ в одной вкладке браузера. По мере продвижения можно вносить уточнения.
Для публикации достаточно попросить инструмент развернуть проект на любом хостинге и дать его URL-адрес, которым можно будет поделиться.
Для новичков есть пошаговое руководство.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Unigine SDK 2.21: улучшения гауссова распределения, поддержка CAVE, лётные и ремонтные ВР-шаблоны
