Бывшая команда стартапа CTRL-labs внутри Reality Labs, иммерсивного отдела компании Meta*, опубликовала препринт статьи под названием «Универсальный неинвазивный нейромоторный интерфейс для взаимодействия человека и компьютера». Это отчёт о последних результатах работы над электромиографическим контроллером для очков виртуальной, дополненной и смешанной реальности.
По словам авторов, цель разработки их интерфейса состоит в достижении простого, интуитивного и эффективного ввода данных в компьютер. Для этого они сделали браслет, который способен определять активность мышц запястья и кисти с помощью поверхностной электромиографии (пЭМГ). Эта технология использует касающиеся кожи металлические контакты и преобразовывает преднамеренные нейромоторные команды в сигналы ввода.
Команда исследователей создала нейросетевые модели для декодирования электрической активности мышц, обучив их на данных тысяч платных добровольцев. Модели стали достаточно универсальными, чтобы устранить необходимость в индивидуальной калибровке под каждого человека.
Система может декодировать разные сценарии взаимодействия с интерфейсом. Производительность в декодировании рукописного текста в автономном режиме растёт по мере увеличения количества участников в наборе обучающих данных. Например, когда модель обучается на данных более чем 6000 пользователей, она достигает производительности в автономном режиме с частотой ошибок в 7%, что соответствует примерно одной ошибке на каждые 14 символов и приближается к частоте, сравнимой с набором текста на экранах мобильных устройств.
Для оценки производительности декодеров на неопытных пользователях авторы проекта провели тесты с обратной связью, которые включали непрерывную одномерную навигацию, дискретное обнаружение жестов и рукописный ввод. Через несколько минут после первого надевания браслета неопытные пользователи демонстрируют медианную производительность декодирования жестов с обратной связью со скоростью 0,5 обнаружения цели в секунду в задаче непрерывной навигации, 0,9 обнаружения жестов в секунду в задаче с дискретными жестами и рукописный ввод со скоростью 17,0 скорректированных слов в минуту.
Инженеры Reality Labs обнаружили, что персонализация моделей почерка с минимальной тонкой настройкой для отдельных участников может привести к повышению производительности на 30%. По мере сбора обучающих данных и настройки моделей пЭМГ пользователями в соответствии с их уникальными стилями письма интерфейс будет развиваться.
Команда утверждает, что это первый нейромоторный интерфейс с высокой пропускной способностью, который использует биосигналы с эффективной генерализацией для отдельных людей «из коробки».
С подробностями проекта, включая технические характеристки и аппаратный дизайн браслета, можно ознакомиться в PDF.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Apple смотрит в сторону смарт-кольца и смарт-очков. Очки ближе к реализации
