Инженеры Meta представили новый набор данных для обучения моделей компьютерного зрения тому, как люди взаимодействуют с физическим окружением при помощи рук. В основе концепции датасета HOT3D (Hand and object tracking 3D) отслеживание очками, то есть в положении наблюдения своих рук собственными глазами.
Достоверное понимание того, как люди используют руки для манипулирования объектами, пишут сотрудники Reality Labs, остаётся ключевой проблемой для исследований в области компьютерного зрения. HOT3D может открыть новые возможности, такие как передача ручных навыков от экспертов менее опытным пользователям или роботам, помощь искусственному интеллекту в понимании действий людей или ввода в дополненной или виртуальной реальности с превращением любой физической поверхности в виртуальную клавиатуру, а любого карандаша — в «многофункциональную волшебную палочку».
Набор содержит 833 минуты (более 3,7 млн кадров) многоракурсного цветного и монохромного видео с 19 субъектами, которые взаимодействуют с 33 твёрдыми объектами. Здесь есть мультимодальные сигналы, такие как направление взгляда или трёхмерное облако точек, а также комплексная информация о трёхмерных позах объектов, рук и камер и трёхмерные модели рук и объектов.
В дополнение к простым действиям (взять, осмотреть, отпустить) HOT3D содержит сценарии, напоминающие типичные действия на кухне, в офисе и гостиной. Датасет записали двумя устройствами Meta: прототипом очков дополненной реальности Project Aria и серийными Quest 3.
Позы получены с помощью профессиональной системы захвата движения с использованием небольших оптических маркеров на руках и объектах. Данные для рук — в форматах UmeTrack и MANO, а объекты представлены 3D-сетками с материалами PBR от собственного сканера Reality Labs.
Набор данных доступен для бесплатного неограниченного скачивания с сайта проекта: facebookresearch.github.io/hot3d.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Pico радикально снижает порог входа в свой магазин и прекращает развитие фирменного SDK
