Видео, опубликованное разработчиком приложений под Vision Pro, показывает возможности отслеживания рук и производительность окклюзии. Apple не кладёт в комплект контроллеры и полностью полагается на трекинг рук и глаз. Поэтому качество работы соответствующих алгоритмов является основополагающим фактором пользовательского комфорта.
Трекинг рук в Vision Pro можно разделить на две отдельные функции:
- Слежение — сопоставление невидимой 3D-модели руки, её суставов и положения кончиков пальцев с настоящей рукой. Модель используется для определения прикосновений, захватов и других случаев взаимодействия с виртуальными объектами
- Окклюзия рук — это наложение настоящей руки на виртуальный контент. Вместо того, чтобы рисовать в сцене 3D-модель виртуальной руки, Vision Pro добавляет туда вырезаемое в реальном времени изображение настоящей конечности. По задумке, такой метод добавляет виртуальному контенту новый уровень реализма
Один из разработчиков приложений для Vision Pro, работающий Unity, представил видео, которое даёт представление об отслеживании рук и окклюзии. На видео настоящие руки показывают в действии систему окклюзии, а зелёные точки — запаздывание модели руки.
Окклюзия рук хорошая, но не идеальная. Когда вы окружены виртуальным контентом и быстро двигаетесь, вы можете увидеть неровные края наложения.
На глаз, положение виртуальной руки при трекинге отстаёт от окклюзии на 100–200 миллисекунд. Однако измерить скорость точно по видео невозможно. Некоторые разработчики говорят, что ранние эксперименты с Vision Pro показали очень высокую задержку отслеживания рук по сравнению с возможностями Quest. Коллеги автора видео по работе с Unity, как сообщают журналисты Road to VR, согласились с ним по поводу наблюдаемой задержки.
Рассматриваемое видео представляет собой интеграцию отслеживания рук в приложение на Unity, а это означает, что производительность и задержка отслеживания рук могут иметь дополнительные факторы, связанные с движком, которых нет при использовании собственных инструментов разработки Apple. Кроме того, очки ещё не вышли, их ПО носит предварительный характер, как и инструментарий для авторов софта. К релизу устройства его характеристики, зависящие от оптимизации, могут серьёзно поменяться.
Не пропускайте важнейшие новости о дополненной и виртуальной реальность — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Конец Windows Mixed Reality: платформу удаляют из Windows
