Nreal сообщает о важном обновлении своего API Hand Tracking. В нём компания улучшила восприятие жестов и манипулирование виртуальными объектами, в том числе быстрые перекрывающие руки движения. Апдейт также упростит разработку приложений за счёт повышения стабильности, точности и уменьшения задержек.
Авторы обновления говорят, что оно обучили специально разработанную нейронную сеть глубокого обучения, используя миллионы изображений рук и соответствующих им меток с суставами и кончиками пальцев в качестве ключевых точек. Полученная модель сначала обнаруживает руки, видимые камерами очков Nreal Light, а затем вычисляет положение ключевых точек рук в трёхмерном пространстве.
Алгоритм Nreal может в реальном времени вычислить положение и ориентацию рук, распознать определённые жесты. К ним относятся указывание, щипок, захват, открытые ладони, знаки победы / мира, а также большой палец вверх и вниз.
API трекинга рук интегрирован с Mixed Reality Toolkit (MRTK), предоставляя функции управления руками на уровне приложения. Используя SDK в сочетании с MRTK разработчики могут закладывать интуитивно понятные манипуляции с виртуальными объектами и управление контентом. Более того, теперь можно экспериментировать с приложениями с трекингом рук от HoloLens.
Nreal разработала два приложения-примера, которые можно скачать на GitHub. На их основе будет проще создавать свой софт для растущей китайской платформы смарт-очков.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Snap опубликовала решение для создания 3D-моделей по картинкам и видео в интернете
