Одной из главных целей Facebook в отрасли виртуальной реальности является её превращение в инструмент для соединения разделённых расстояниями людей. Компания знает в этом толк и хочет остаться флагманом социальных сервисов в следующем десятилетии.
Для социального взаимодействия в ВР особую важность имеет естественное ручное управление и жесты, причём без контроллеров. Поэтому Oculus не только разрабатывает системы распознавания жестов, но и добилась больших успехов, которыми поделилась на конференции F8 2018. Смотрите видео:
Систему отслеживания рук основана на компьютерном зрении и работает с помощью самооптимизирующегося алгоритма машинного обучения, который, по словам компании, обеспечивает намного более точный трекинг как в сценарии с одной рукой, так и в вариантах для двух рук и пар «рука-объект».
Facebook использовала систему отслеживания с маркерами для высокоточной записи ручных взаимодействий, а затем сконцентрировала данные в 2D-изображения, которые «скормила» свёрточной нейронной сети. Большой набор изображений рук и данных о положении маркеров позволил системе эффективно опознавать руки с разных углов. В компании говорят, что обученная система может работать без маркеров.
Точность распознавания при трекинге одной руки, по данным самой Oculus, составляет 100%, тогда как другие методы трекинга дотягивают лишь до 90,49%. В остальных сценариях разрыв якобы ещё больше.
Отслеживание рук может обеспечить богатый опыт взаимодействия с людьми и виртуальными объектами без контроллеров (как и без обратной связи). Это жизнеспособное решение, что постоянно доказывает ещё один игрок рынка виртуальной реальности Leap Motion. Особые перспективы открываются для автономных очков, из-за мобильной природы которых контроллеры лучше исключить из комплекта.
Точность, достигнутая с помощью подхода Oculus, впечатляет, но пока не ясны вычислительные требования и планы компании по внедрению нового типа управления в потребительские устройства.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Oculus: не стоит ждать все технологии Half Dome в ближайшее время
