Стартап с многомиллиардной оценкой Magic Leap по прежнему не показал очки, с помощью которых собирается покорять мир, зато приоткрыл завесу над тем, как эти очки смогут видеть то, что их окружает. Научные сотрудники компании Дэниель Детон (Daniel DeTone), Томас Малисевич (Tomasz Malisiewicz) и Эндрю Рабинович (Andrew Rabinovich) описали механизм визуального трекинга в статье «На пути к геометрическому глубокому SLAM» («Toward Geometric Deep SLAM»).
Система трекинга Magic Leap базируется на двух глубоких сверхточных нейронных сетях — подобиях искусственного мозга, предназначенных для обработки изображений. Они называются MagicPoint и MagicWarp и обеспечивают системе «скорость, малые объёмы и лёгкую работу на одном центральном процессоре при 30 и более кадрах в секунду».
MagicPoint работает с одиночными изображениями и создаёт 2D-точки, важные для трекинга. Они предназначены для технологии одновременных локализации и картографирования (Simultaneous Localisation and Mapping — SLAM). Сравнивая свою сеть с классическими точечными детекторами, команда обнаружила «значительный разрыв в производительности при зашумлённости изображения».
Поскольку вычисление формы объектов при их перемещении — непростая задача (двигаться может как объект, так и зритель), работа MagicWarp заключается в использовании пары этих изображений, содержащих созданные MagicPoint 2D-точки, для прогнозирования движения. Здесь, по существу, происходит моделирование мира вокруг объектов. Но в SLAM-трекинге MagicWarp это происходит необычно: он работает не с более сложными дескрипторами локальных точек (уникальные данные для идентификации), а только с их расположением.
Протестированные с использованием физических и синтетических данных, обе нейронные сети, как говорят в Magic Leap, способны работать в реальном времени.
Мы считаем, что день масштабного развёртывания мощных SLAM-систем глубокого обучения не за горами, — заключают авторы исследования.
Данная публикация в блоге компании не вносит ясности в её планы. Каждый год исследователи по всему миру регистрируют тысячи технологических патентов, но далеко не все находят применение. Будут ли очки Magic Leap работать на вышеописанном SLAM-трекинге? Мы можем предположить, что будут, но сами разработчики об этом ничего не говорят, превращая интригующую скрытность в самодискредитирование.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Слух: новый раунд финансирования может повысить стоимость Magic Leap до $8 млрд
