Google выпустила алгоритм для отслеживания пальцев по 21 точке c открытым исходным кодом для мобильных устройств. Он доступен на GitHub и стал частью кроссплатформенного фреймворка MediaPipe для решений на основе машинного обучения, таких как распознавание лиц, обнаружение объектов и сегментация причёсок.
Надевая очки виртуальной реальности, все люди протягивают руки в надежде увидеть их перед собой. Они хотят удостовериться, что действительно попали туда. Отслеживаемые контроллеры частично удовлетворяют это желание и отлично подвозит для игр, в которых трудно найти замену точным кнопкам, сенсорным панелям и джойстикам. Контроллеры, однако, пока не могут реалистично передавать движения пальцев, а ещё их нужно держать, что вовсе не усиливает эффект погружения.
Трекинг рук решает эти проблемы. И хотя он создаёт новую — отсутствие физической отдачи, это один из способов наиболее реалистично взаимодействовать с виртуальным миром, наряду со специальными перчатками.
К сожалению, Google не рассказывает об объективных показателях качества работы и задержке текущей редакции алгоритма. В описании также не упоминается виртуальная реальность, хотя потенциал для применения разработки в ней очевиден. Зато компания обещает «расширить эту технологию с помощью более надёжного и стабильного отслеживания».
Подробная информация об алгоритме ждёт вас в блоге Google.
Facebook также ведёт исследования трекинга рук и пальцев с помощью камер. В отличие от Google со стагнирующей платформой Daydream, у неё есть подходящий мобильный продукт — Oculus Quest. Но инженеры Facebook не публикуют соответствующий код, давая конкуренту возможность заложить в основу свободного рынка другую технологию.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Oculus серьёзно улучшила трекинг Touch для Rift S
