Pico выпустила приложение SpatialML Capture, которое превращает очки смешанной реальности Pico 4 Ultra в инструмент сбора и обработки многомодальных пространственных данных для машинного обучения. Софт собирает и синхронизирует несколько потоков данных с временными метками, сохраняя их в одном файле формата SpatialMP4.
Типы собираемых данных:
- Бинокулярное RGB-видео (изображения для левого и правого глаза)
- Информация о глубине
- Положение и ориентация устройства в режиме реального времени с шестью степенями свободы
Pico позиционирует новинку как способ набора датасетов для моделей машинного обучения, разработки алгоритмов навигации роботов или отладки алгоритмов VIO и SLAM. Для этого необходим современный набор датчиков и системного ПО, поэтому официально приложение совместимо только с Pico 4 Ultra с операционной системой от версии 5.14.0.
Компания говорит об умеренном потреблении энергии, простоте экспорта через Android Debug Bridge и управления кнопками на контроллерах и очках. Рекомендуется вести записи при хорошем освещении и с плавным перемещением. Разумеется, приложение попросит о доступе к данным камер, микрофонов и датчиков сканирования пространства. Адрес сохранения файлов — /sdcard/Movies/SpatialMP4.
Скачать SpatialML Capture можно бесплатно в Pico Store (могут наблюдаться ограничения доступности по странам).
Pico также выложила на GitHub SDK SpatialMP4 с открытым исходным кодом на C++ и Python и инструментами для анализа и визуализации данных. SDK предоставляет API для чтения RGB-изображений, карт глубины, данных о позе и параметров камеры, поддерживая несколько режимов чтения и произвольный доступ к кадрам.
В репозитории есть тестовый исполняемый файл (test_reader) для быстрой визуализации записанных пространственных данных.
Документы по SpatialML Capture доступны на сайте производителя.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: На Quest 3 появилась системная функция работы с QR-кодами
