Meta* выпустила XR Operator — слой API OpenXR, который даёт нейросетевым агентам пространственный контекст и возможность управления приложениями. Это экспериментальный компонент XR Core SDK, совместимый с любым приложением на Unity и OpenXR без изменений в коде. С помощью XR Operator разработчики могут обеспечить агентов восприятием окружения и возможностью контекстуальных действий в виртуальной и смешанной реальности.
Слой API находится между приложением и средой выполнения OpenXR. Он перехватывает вызовы среды, выполняемые приложением, и предоставляет агентам доступ к состоянию сессии, данным системы отслеживания и управлению вводом через протокол контекста (Model Context Protocol, MCP). Любой совместимый с MCP агент, вроде Claude Code, может наблюдать за приложением и взаимодействовать с ним. Это работает в редакторе Unity, Meta XR Simulator и на Quest.
С помощью MCP агент может запрашивать состояния сессий, системную информацию и данные по кадрам, изучать граф сцены Unity и проверять пользовательский интерфейс, включая интерактивные элементы, читать и менять положения головы и контроллера, включая плавное интерполированное движение, настраивать ввод с контроллеров, записывать составные изображения, объединяющие реальность и виртуальный контент. Агенту также доступны список пространственных объектов с указанием положения и семантических меток, выполнение пространственных вычислений, включая операции с векторами и кватернионами, преобразование координат из Unity в OpenXR и вызов специфичных для приложения пользовательских инструментов на C#.
Meta XR Operator запускает локальный сервер MCP внутри приложения и соединяет его с агентом через MCP-прокси. Компоненты работают следующим образом:
- Приложение на Unity работает с включённым API-слоем Meta XR Operator.
- API-слой перехватывает вызовы среды выполнения OpenXR и запускает локальный MCP-сервер внутри процесса приложения.
- MCP-прокси соединяет нейросетевой инструмент с этим сервером и обнаруживает все доступные инструменты. Прокси можно установить из панели инструментов ИИ или найти в автономном загружаемом пакете.
- Агент вызывает инструменты для чтения состояния запущенного приложения или отправки в него входных данных.
Сервер MCP также доступен напрямую по HTTP с использованием Server-Sent Events (SSE) по адресу http://localhost:8720/sse. Рекомендуемый способ подключения — через прокси; прямая конечная точка — это расширенный вариант.
Поскольку интеграция происходит на уровне OpenXR, один и тот же рабочий процесс применим независимо от того, запускаете ли вы приложение в редакторе с Quest Link, в симуляторе или на Quest. При запуске на очках вы перенаправляете порт через ADB, чтобы хост мог связаться с сервером на устройстве.
В качестве примеров использования XR Operator компания приводит воспроизведение и отладку проблем путём управления приложением с помощью естественного языка, запуск автоматизированных тестовых проходов без написания скриптов для каждого сценария, проверку состояния сессии, отслеживания и кадров в реальном времени и прототипирование иммерсивных приложений.
Перед использованием Meta XR Operator убедитесь, что у вас установлены:
- Unity 6000.0.x или более поздняя версия
- Meta XR Core SDK версии 205 или более поздняя версия
- OpenXR Plugin 1.17.0 или более поздняя версия
- Инструмент для программирования ИИ, совместимый с MCP, например, Claude Code
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Открылся большой онлайн-каталог игровых ВР-модов PCVR Central
