Voice SDK и привязку графики к пространственным координатам для приложений смешанной реальности Meta анонсировала на Connect 2021. Они вместе с улучшенным трекингом рук доступны в Oculus SDK v35.
Voice SDK работает на технологии Wit.ai, компании, занимающейся голосовыми интерфейсами, которую Meta приобрела в 2015 году. Wit работает на сервере, поэтому не умеет действовать без связи и предполагает некоторую задержку в реакции.
Мета говорит, что новый API позволяет искать контент в приложении и создавать «голосовой игровой процесс», в котором люди могут проговаривать заклинания или более естественно общаться с виртуальными персонажами. В прошлом релизе Oculus SDK эта функциональность имела статус экспериментальной, поэтому её нельзя было включить в приложениях для Oculus Store или App Lab. Теперь это ограничение сняли.
Voice SDK может делать больше, чем просто распознавать речь. В нём есть функции обработки естественного языка для обнаружения команд, анализа сущностей (например, расстояния, времени, количества) и настроения (положительного, нейтрального или отрицательного). Подробное описание доступно в специальных документах.
Пространственные анкеры или якоря (Spatial Anchors, а проще говоря — привязка к пространству) — новая экспериментальная функция для смешанной реальности, то есть её пока нельзя выкатывать в приложениях для основного магазина и App Lab.
Разработчики уже могут использовать сквозной стриминг с камер очков, чтобы видеть реальное окружение. Качество не очень, и всё в градациях серого, но это только с Quest, в которых камеры задуманы для трекинга. В следующих очках видео будет гораздо лучше.
Пространственная привязка контента позволяет размещать контент в конкретной позиции в относительных пространственных координатах. Главное, что очки могут запоминать эти координаты и возвращать вас в реально-виртуальный мир в прежнем его состоянии. Подробности — в документации.
В следующем году Meta добавит к этому экспериментальную функцию «Scene Understanding». Пользователи смогут размечать стены, пол, потолок и мебель, а очки между сеансами дополненной, смешанной и виртуальной реальности смогут запоминать конфигурацию помещения. Вероятно, это избавит нас от рекалибровок игровых зон, если только мы не задумаем перестановку или переезд.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Обновление v35 приходит на Quest: новый вид видеостриминга, бекап сохранений и звонки в Messenger
