Meta* отчиталась о проекте Brain2Qwerty v2, нейросетевой модели для декодирования текста на основе неинвазивной магнитоэнцефалографии (МЭГ). Разработка базируется на архитектуре первой версии, которая предсказывала нажатия клавиш на основе паттернов мозговой активности, записанных с помощью МЭГ, но не могла работать в реальном времени. Теперь это ограничение снято.
Brain2Qwerty v2 генерирует фразы в реальном времени непосредственно из непрерывной записи мозговой активности. Новая модель объединяет три иерархических модуля для совместного улучшения декодирования букв, слов и предложений.
Сигнал МЭГ поступает в conformer (трансформер со свёрткой для обнаружения символов), затем в aligner (выравниватель для выделения слов), а затем в большую языковую модель, которая восстанавливает предложения. Brain2Qwerty v2 может декодировать полные и осмысленные предложения исключительно на основе сигналов здоровых добровольцев и достигает точности распознавания слов до 78% для лучшего участника.
Прежде чем этот метод можно будет успешно внедрить в клиническую практику, остаются две основные проблемы. Во-первых, качество декодирования пока недостаточно для повседневного использования: этот метод всё ещё допускает слишком много ошибок на уровне слов или символов, чтобы быть практичным.
Тем не менее, результаты, по словам авторов работы, «следуют закону масштабирования: чем больше данных используется для обучения, тем лучше декодер, без — по крайней мере, пока — заметного плато производительности». Meta надеется добиться улучшений расширением датасета и свести к нулю разрыв с инвазивными нейропротезами.
Во-вторых, использованное устройство МЭГ представляет собой большой стационарный сканер, недоступный для подавляющего большинства людей. Однако эту проблему естественным образом будет решать прогресс в технологии магнитоэнцефалографии, где уже сейчас появляются компактные носимые детекторы.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, MAX, ВК и X! Поддержите проект на Boosty.
Далее: Zeiss и Envision вместе разработают диагностику глаукомы с помощью виртуальной реальности
