Независимый разработчик Шон Лю реализовал проект на базе открытого кода, связав популярные смарт-очки с нейросетевым агентом. Эксперимент заключается в том, что пользователь буквально может покупать то, что видит, если это продаётся в интернете.
Очки Ray-Ban Meta* довольно полезны сразу после покупки, предлагая фото- и видеосъёмку, звонки, воспроизведение музыки и стандартный набор функций чат-бота с искусственным интеллектом при наличии подключения к смартфону. Однако у них нет магазина приложений, а это значит, что вы ограничены несколькими встроенными сервисами.
Проект под названием VisionClaw связывает Ray-Ban Meta с OpenClaw (он же ClawdBot), нейросетевым ассистентом, который может выполнять действия на вычислительных устройствах. По сути, агент получает глаза и уши.
OpenClaw — это не модель ИИ, как ChatGPT или Gemini. Это агентный слой для обмена сообщениями, созданный поверх модели. Он взаимодействует с цифровыми сервисами от вашего имени, например, отправляет электронные письма, управляет списками покупок или контролирует устройства умного дома — это лишь три из более чем 56 инструментов, с которыми OpenClaw интегрируется сейчас.
В основном, это работает так: VisionClaw использует Gemini Live для обработки голоса в реальном времени и компьютерного зрения, что позволяет, например, описывать то, что вы видите, и отвечать на вопросы. Те же задачи вы можете выполнять с помощью встроенного Meta AI.
Но как только вы захотите взаимодействовать с приложением или сервисом — например, отправить сообщение по электронной почте или через приложение для обмена сообщениями за пределами экосистемы Meta, такое как Signal или Telegram, — Gemini Live перенаправит запрос в OpenClaw, который выполнит необходимые действия.
Пользователям, желающим запустить VisionClaw, нужен iPhone, поскольку код Лю написан с помощью Xcode и Swift. Он использует Wearables Device Access Toolkit (DAT) для iOS от Meta*, чтобы подключать телефоны к очкам.
Кроме этого пользователь обязан самостоятельно оценить риски, связанные с запуском OpenClaw на личном оборудовании с личными учётными записями. Бот может потребовать ввода паролей, ключей API и личной информации, что означает потенциальные уязвимости для злоумышленников. Следует отметить, что интеграции навыков в OpenClaw может написать кто угодно, поэтому стоит проявлять особую бдительность.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Вслед за внешностью очков Phoenix инсайдеры показали их выносной модуль
