Исследователи Массачусетского технологического института (МТИ) доработали очки дополненной реальности HoloLens 2, позволив их пользователю видеть одни объекты за другими, подобно рентгеновским аппаратам. Здесь, однако, нет опасной радиации. Скрытые от невооружённого взгляда вещи предлагают находить при помощи радиочастотных сигналов и RFID-меток.
В человеческом труде много сценариев, когда вещи сложены одна за другой. Идеальные примеры — склады или сортировочные центры для посылок. Радиосигналы на определённой частоте, отражённые меткой, помогают без труда отыскать предмет за мешками, коробками и ящиками. Помеху составят только материалы, не пропускающие либо искажающие сигнал, но в контролируемых средах с заранее известными условиями вероятностью этого можно пренебречь.
Очки научного проекта X-AR направляют человека к предмету, а в непосредственной близости могут дополнительно проверять искомую вещь компьютерным зрением, пробивая её по базам данных. В тестах на складе удалось определять местоположение скрытых предметов в среднем в пределах 9,8 сантиметра. Правильный подбор происходил с точностью 96%.
Цель проекта состояла в создании системы дополненной реальности, которая позволяет видеть невидимые вещи в коробках или за препятствиями с возможностью направлять пользователя к ним, объясняет суть работы Фадель Адиб, доцент Кафедры электротехники и информатики МТИ, директор группы Кинетики сигналов в Лаборатории сред и старший автор статьи по X-AR.
Для создания очков с «рентгеновским зрением» исследователи должны были оснастить соответствующее готовое устройство антенной, которая могла бы взаимодействовать с меткой RFID. Большинство систем локализации RFID используют несколько антенн, расположенных на расстоянии друг от друга, но в данном проекте нужна была одна лёгкая антенна, которая могла бы достичь достаточно высокой пропускной способности для связи с метками. Большой проблемой, по словам учёных, оказалась разработка антенны, которая подойдет для очков, не закрыв ни одну из камер и не помешав их работе. Команда взяла простую, лёгкую петлевую антенну и экспериментировала, меняя её размеры и повышая пропускную способность.
Поскольку антенны обычно работают на открытом воздухе, участники проекта оптимизировали свою разработку для отправки и приёма сигналов при подключении к очкам в помещении. После создания эффективной антенны команда сосредоточилась на локализации объектов при помощи техники радиолокационного синтезирования апертуры (РСА). Это радиолокационная систему, в которой движение используется для моделирования большой апертуры. Обычно РСА работает на самолётах или спутниках, однако она хорошо проявила себя в менее масштабных задачах проекта.
X-AR проводит измерения с помощью своей антенны с разных точек зрения, когда пользователь движется по помещению, а затем объединяет эти измерения. Таким образом, очки действуют как антенный массив, в котором данные как бы от нескольких антенн объединяются для локализации устройства вместе с данным SLAM-системы.
Пользователь ходит по помещению, а очки вычисляют вероятность нахождения RFID-тега в разных точках пространства. Она будет самой высокой в точном местоположении тега. Очки отмечают объект на дисплее в трёхмерном окружении и ведут к нему человека через проецирование траектории на пол, отмечая нужное место прозрачной сферой.
Учёные неожиданно для себя обнаружили, что РСА хорошо работает с естественными перемещениями человека. Люди много двигаются, это позволяет проводить измерения из множества разных мест и точно локализовать предмет даже в руках после его подбора. X-AR может направлять пользователя к цели с ошибкой менее 10 сантиметров, чего обычно вполне достаточно для решения рабочей задачи. Пользователь забирал нужный товар в 98,9% случаев. При этом для успеха не нужно прямо видеть предмет. Если у вас 10 похожих телефонов в одной коробке, вы всё равно быстрее найдёте упаковку и добудете правильный телефон.
Теперь в развитии проекта X-AR исследователи планируют изучить, как использовать в нём Wi-Fi, MMWave, терагерцовые волны и другие возможности улучшения визуализации и взаимодействия. Работа продолжится и по антенне. Сейчас область её эффективного действия составляет всего три метра от очков. Параллельно усилить систему можно координированием нескольких устройств.
Оригинальный отчёт об исследовании читайте здесь.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Поставщик профессиональных смарт-очков Iristick получил €4 млн на ускорение развития
