Команда инженеров Нью-йоркского университета при участии компании Meta* разработала фреймворк Open Teach для естественного дистанционного управления роботами с помощью очков виртуальной реальности и их контроллеров. Существующие платформы авторы проекта характеризуют как запатентованные, дорогие или адаптированные к конкретным морфологиям роботов. Новинка же универсальна, полностью открыта и работает на потребительских очках. А конкретно, на Quest 3.
Open Teach позволяет в реальном времени управлять роботами с несколькими конфигурациями манипуляторов: с множеством пальцев, двупалыми, на мобильных платформах и так далее. Для этого авторы создали простое мобильное приложение, которое преобразует естественные жесты и движения рук в движения машины с частотой 90 Гц и высокой синхронизацией человеко-машинного интерфейса.
Универсальность решения авторы показали на 38 задачах с разными роботами. Исследование сценариев использования указывает на значительное улучшение возможностей телеопераций по сравнению с конкурирующей платформой AnyTeleop. Дальнейшие эксперименты показывают, что собранные данные совместимы с обучением по 10 сложным манипуляционным задачам.
Open Teach поддерживает платформы Franka, xArm, Jaco, Allegro и Hello Stretch и имеет открытый исходный код, который доступен на GitHub.
Quest 3, по словам разработчиков платформы, попали в проект благодаря низкой цене и полноцветным камерам. Это позволило добавить к потоку с камеры робота цветную съёмку сцены с точки зрения оператора и в режиме стерео для более полного восприятия объёма.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: SceneScript: новый метод реконструирования трёхмерного пространства с помощью машинного зрения
