Генеральный директор Meta* Марк Цукерберг рассказал, что браслет с технологией электромиографии (ЭМГ), который должен стать контроллером для очков, поступит в продажу «в ближайшие несколько лет». Такое устройство потенциально сможет считывать небольшие движения или даже намерения движения с минимальной задержкой, по точности заменяя обычные контроллеры, а по гибкости — оптическое отслеживание рук.
В конце 2019 года Facebook* приобрела нью-йоркский стартап под названием CTRL Labs, который работал над идеей браслета для отслеживания пальцев как минимум с 2015 года, хотя подача патентной заявки в начале 2019 года предполагает, что Facebook сама работала над подобной технологией. Генеральный директор и соучредитель CTRL Labs Томас Рирдон стал руководителем соответствующего проекта с момента сделки.
Quest, Vision Pro и другие очки уже способны отслеживать пальцы с помощью компьютерного зрения, но этот подход имеет ограниченную точность и относительно высокую задержку. Он также склонен к проблемам с окклюзией и чувствителен к освещению.
Другой подход к отслеживанию пальцев состоит в считывании электрических сигналов, проходящих из мозга через запястье к пальцам, с помощью электромиографии. Теоретически этот метод может дать нулевую или даже отрицательную задержку, идеальную точность, работать независимо от условий освещения и не страдать от перекрытия рук объектами и смены их положения. Обсуждая технологию в 2021 году, Рирдон говорил, что недавний прорыв позволил расшифровать активность отдельных нейронов для «почти бесконечного контроля над машинами».
Беспрепятственное отслеживание пальцев такого качества и надёжности может обеспечить точное управление сложными интерфейсами с помощью незаметных движений руки, лежащей на коленях, что делает его идеальным методом ввода для очков дополненной, смешанной и виртуальной реальности, в которых пока приходится размахивать руками по всему виртуальному интерфейсу.
Заявление Цукерберга прозвучало через несколько недель после того, как Apple запустила Vision Pro с уникальным подходом к интерфейсу: сочетанием отслеживания глаз и оптического отслеживания пальцев, которое тоже позволяет держать руки на коленях, перемещая «курсор» глазами и осуществляя нажатия жестами пальцев. Это быстрый и интуитивно понятный метод ввода, но он ограничен тем, что зависит от видимости пальцев камерами и для сложных действий требует хорошо заметных движений.
Meta надеется, что её браслет позволит выполнять точные манипуляции с меньшими усилиями в любом сценарии и станет чем-то вроде компьютерной мыши, но в 3D, а примерно к 2028 году окажется достаточно точным, чтобы в сочетании с плоской поверхностью с наложенными на неё виртуальными клавишами имитировать клавиатуру.
В начале 2023 года утечка внутренних документов Meta раскрыла план компании выпустить ЭМГ-браслеты вместе с умными очками Ray-Ban третьего поколения в 2025 году.
Согласно плану, две модели браслета будут в разных ценовых категориях: одна предложит только электромиографический ввод, а другая получит дисплей и камеру и фактически станет смарт-часами. Второе поколение браслетов должно выйти в 2027 году с новыми очками. Однако следует помнить, что компания могла изменить план или оговорённые в нём сроки.
Напомним, что соперник Meta в области дополненной реальности Snap в 2022 году купила разработчика нейроинтерфейсов NextMind. Это было до взятия курса на оптимизацию бизнеса, но он связан именно с желанием больше инвестировать в долгосрочные проекты.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: GLYDR: совместимый с очками ножной контроллер в виде педалей
