В Oculus разработали точный трекинг рук на свёрточной нейросети

0
281

В Oculus разработали точный трекинг рук на свёрточной нейросети

Одной из главных целей Facebook в отрасли виртуальной реальности является её превращение в инструмент для соединения разделённых расстояниями людей. Компания знает в этом толк и хочет остаться флагманом социальных сервисов в следующем десятилетии.

Для социального взаимодействия в ВР особую важность имеет естественное ручное управление и жесты, причём без контроллеров. Поэтому Oculus не только разрабатывает системы распознавания жестов, но и добилась больших успехов, которыми поделилась на конференции F8 2018. Смотрите видео:

В Oculus разработали точный трекинг рук на свёрточной нейросети

Систему отслеживания рук основана на компьютерном зрении и работает с помощью самооптимизирующегося алгоритма машинного обучения, который, по словам компании, обеспечивает намного более точный трекинг как в сценарии с одной рукой, так и в вариантах для двух рук и пар «рука-объект».

В Oculus разработали точный трекинг рук на свёрточной нейросети

Facebook использовала систему отслеживания с маркерами для высокоточной записи ручных взаимодействий, а затем сконцентрировала данные в 2D-изображения, которые «скормила» свёрточной нейронной сети. Большой набор изображений рук и данных о положении маркеров позволил системе эффективно опознавать руки с разных углов. В компании говорят, что обученная система может работать без маркеров.

В Oculus разработали точный трекинг рук на свёрточной нейросети

Точность распознавания при трекинге одной руки, по данным самой Oculus, составляет 100%, тогда как другие методы трекинга дотягивают лишь до 90,49%. В остальных сценариях разрыв якобы ещё больше.

Отслеживание рук может обеспечить богатый опыт взаимодействия с людьми и виртуальными объектами без контроллеров (как и без обратной связи). Это жизнеспособное решение, что постоянно доказывает ещё один игрок рынка виртуальной реальности Leap Motion. Особые перспективы открываются для автономных очков, из-за мобильной природы которых контроллеры лучше исключить из комплекта.

Точность, достигнутая с помощью подхода Oculus, впечатляет, но пока не ясны вычислительные требования и планы компании по внедрению нового типа управления в потребительские устройства. 

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВКTwitter и Facebook

Далее: Oculus: не стоит ждать все технологии Half Dome в ближайшее время

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Поддержи Голографику на Patreon!
В Oculus разработали точный трекинг рук на свёрточной нейросети