Facebook и лаборатория «Chang Lab» Калифорнийского университета в Сан-Франциско представили научную статью с результатами многолетнего исследования интерфейсов «мозг-компьютер».
Их совместный проект — Project Steno — имел целью создание системы, переводящей электрическую активность мозга в слова. У разработки, предположительно, есть потенциал внедрения в лечение людей с нарушениями речи.
Вместе с публикацией Facebook рассказала, что отказывается от идеи коммерческого головного устройства для считывания активности мозга и вместо этого занимается интерфейсами для ношения на запястье. Новое исследование не имеет чёткой применимости к массовому продукту, и компания сменит приоритеты с нейрокомпьютерных шлемов на электромиографию в браслетах. Facebook также «не заинтересована в разработке продуктов, для которых требуются имплантированные электроды». Что ж, зато в этом заинтересована российская Сенсор-Тех и миллионы инвалидов по зрению.
Chang Lab изучает использование имплантированных нейрокомпьютерных интерфейсов для восстановления речевых способностей людей. Статья посвящена участнику эксперимента, который не может говорить после инсульта более 16 лет.
Лаборатория оснастила мужчину имплантированными электродами, которые могли определять активность мозга. На одних тренировках он потратил 22 часа (разбитые на более чем год) на обучение системы распознаванию определённых закономерностей. Он пытался произносить отдельные слова из набора в 50 слов. На другом курсе он старался составить полные предложения, используя словарь с основными местоимениями и глаголами (например, «я» и «есть»), а также нарицательными существительными («очки», «компьютер») и командами («да», «нет»).
Это обучение помогло создать языковую модель, которая реагировала, когда мужчина думал о том, чтобы сказать определённые слова, даже если он не был в состоянии их произнести. Исследователи настроили модель, чтобы предсказывать, какое из 50 слов он задумал, интегрировав систему вероятностей для шаблонов английского языка, подобную предсказательной клавиатуре для смартфона. В финальных испытаниях система могла декодировать в среднем 15,2 слова в минуту с учётом ошибок или 12,5 слова в минуту только с правильно декодированными словами.
Лаборатория уже публиковала два более ранних отчёта об исследовании Project Steno в 2019 и 2020 годах. В них учёные заверяли: электродные матрицы и прогностические модели могут создавать сравнительно быстрые и сложные системы типирования мыслей, когда испытуемые не могут говорить.
Следующим шагом учёных (видимо, без прежнего патронажа Facebook) будет улучшение системы и её тестирование на большем количестве людей. Что касается оборудования, они выразили необходимость создавать системы с более высоким разрешением данных, чтобы записывать больше информации из мозга и делать это быстрее. А финальной точкой работы алгоритма нужно сделать перевод сигналов в устную речь с более широким, чём сейчас, словарным запасом.
Почему же Facebook отказывается от коммерциализации такого типа устройств? Это связано с планом компании от 2017 года создать неинвазивную нейрокомпьютерную систему, которая позволит людям печатать 100 слов в минуту, что сопоставимо с максимальными скоростями работы с традиционной клавиатурой. Последняя версия программного-аппаратного комплекса из статьи показывает в разы более скромные результаты с имплантами. Это не сулит ничего хорошего в коммерциализации.
Фокус Facebook сменился на результаты приобретения ей в 2019 году компании «CTRL-Labs» с её миографическими браслетами, которые могут считывать электросигналы от нервных волокон на руках, превращая в компьютерной отклик даже намерение человека совершить некое действие.
Мы всё ещё находимся на ранних этапах раскрытия потенциала электромиографии на запястье, но считаем, что это будет основным вводом для очков дополненной реальности, и применение того, что мы узнали о нейрокомпьютерных интерфейсах, поможет нам достичь этого быстрее, — говорит директор по исследованиям Facebook Reality Labs Шон Келлер (Sean Keller).
Facebook не откажется полностью от головного интерфейса, но планирует создать программное обеспечение с открытым исходным кодом и поделиться прототипами оборудования с миром, свернув собственные разработки.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Повседневные очки дополненной реальности: какими они будут и когда появятся на свет
