
Исследователи Корнеллского университета и Корейского института передовых технологий разработали EchoMotion — экспериментальную систему отслеживания положения тела с помощью обычных умных часов. Она использует встроенные динамик и микрофон, чтобы оценивать трёхмерные координаты 12 суставов от головы до ног. Камеры, внешние трекеры и аппаратная переделка часов для этого не нужны.
Принцип напоминает эхолокацию. Динамик часов излучает неслышимые человеку ультразвуковые сигналы, а микрофон принимает отражения от рук, ног и туловища. Лёгкая нейросеть обрабатывает изменения отражённого сигнала и восстанавливает предполагаемую позу человека. В отличие от акселерометра и гироскопа, которые измеряют движение самих часов, этот метод позволяет оценивать положение частей тела, на которых нет датчиков. Система не измеряет координаты суставов напрямую, а рассчитывает по обученной модели.

Первоначально учёные изготовили прототип с двумя парами динамиков и микрофонов, расположенных по обе стороны запястья, и испытали его на десяти добровольцах. Затем исследователи проверили EchoMotion на серийных Galaxy Watch 6 с участием ещё 15 человек. Авторы приводят среднюю ошибку определения положения сустава 5,36 см для прототипа и 5,99 см для коммерческих часов. Для новой группы пользователей индивидуальная калибровка продолжительностью 12 минут снижала погрешность примерно до 6 см. Оценку точности проводили сравнением с движениями, зарегистрированными камерами во время эксперимента.

В дополнительном испытании десять человек выполняли 18 упражнений в комнате, коридоре и рядом с оживлённой дорогой. Средняя ошибка составляла 6,41 см. Внешний шум и мебель существенно не мешали работе, однако посторонние люди в узком коридоре ухудшали результаты из-за дополнительных отражений ультразвука.
По данным команды, работа системы на Galaxy Watch 6 расходовала 5–6% заряда за полчаса; мощность самого акустического измерения в прототипе составляла около 12 мВт. Отказ от видеокамер также уменьшает объём обрабатываемых данных и позволяет не снимать окружающих людей. Учёные рассматривают EchoMotion как инструмент контроля техники упражнений, реабилитации и отслеживания движений аватаров в виртуальной реальности.
К настоящему моменту технология остаётся исследовательским прототипом.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Исследователи учат беспроводные сети предугадывать движения пользователей виртуальной реальности





