Компания Prehension, основанная бывшим главным инженером Manus Алексом Бертраном, представила собственный инструментарий разработки программного обеспечения для реализации распознавания рук и жестов в очках. SDK поставляют в виде плагина для Unity.
Prehension заявила, что, несмотря на существование множества решений для отслеживания движений рук и распознавания поз, реализация действий и жестов требует более сложного подхода: прочие SDK могут узнавать позы рук, вроде раскрытой ладони и сжатого кулака, но не понимают движения во времени, такие как взмахи или толчки. По словам компании, этот пробел вынуждает разработчиков создавать с нуля слабую логику жестов в каждом проекте или пользоваться контринтуитивными решениями.
SDK Prehension работает поверх системы отслеживания движений рук на уровне платформы и добавляет слой временной классификации с нейросетевой архитектурой для обработки последовательностей положений суставов рук во времени, различая жесты как движения и жесты как позы.
В результате, команды разработчиков получают пользовательские, специализированные модели, адаптированные к их конкретным жестам, способные работать полностью на устройстве без зависимости от облака. Разработчики интегрируются через плагин Unity и получают систему обработки жестовых событий с низкой задержкой без всякой внешней инфраструктуры машинного обучения.
SDK Prehension уже доступен разработчикам приложений для Quest 3 и Quest 3S. Есть планы развития на других платформах, включая очки дополненной реальности.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, MAX, ВК и X! Поддержите проект на Boosty.
Далее: VisionOS 27 принесёт владельцам Vision Pro на M2 урезанные нейросетевые функции
