Последняя версия SDK Quest добавляет микрожесты большим пальцем, а также улучшает качество Audio To Expression, функции преобразования голоса пользователя в лицевую мимику аватара. Вместе с этим появились вспомогательные утилиты для доступа к сквозному видео с камер и метаданным, таким как параметры оптики и положение очков в пространстве, которые можно использовать для запуска моделей компьютерного зрения.
Микрожесты большим пальцем
Микрожесты используют отслеживание рук для обнаружения нажатия и смахивания большим пальцем на указательном, как если бы это была крестовина Steam Controller.
В Unity микрожесты требуют Meta* XR Core SDK. Для других движков он доступен через расширение OpenXR XR_META_hand_tracking_microgestures. Meta утверждает, что с помощью микрожестов можно делать телепортацию с мгновенным поворотом без контроллеров, хотя сценарии здесь зависят от пожеланий разработчиков. В качестве примера легко привести упрощённую навигации по интерфейсу без необходимости тянуться или указывать рукой.
Meta также использует подход с микрожестами большого пальца для находящегося в разработке электромиографического браслета, устройства ввода для будущих очков дополненной реальности. Логично ожидать от компании попытку унифицировать этот инструментарий для трекинга рук и браслета, чтобы не плодить сущности, но информации об этом пока нет.
Улучшение Audio To Expression
Audio To Expression — это встроенная в очки нейросетевая модель, которая генерирует правдоподобные движения лицевых мышц только с помощью данных от микрофонов. Это опосредованный способ передать аватару выражения лица без дополнительных датчиков.
Технология Audio To Expression заменила десятилетний SDK Oculus Lipsync, который поддерживал только губы и потреблял больше вычислительных ресурсов.
В Meta XR Core SDK v74 модель обновили. Это, по словам Meta, «улучшает все аспекты, включая эмоциональную выразительность, движение рта и точность неречевой вокализации по сравнению с более ранними моделями». Однако, несмотря на это, Meta ещё не перевела на новую технологию собственный SDK Avatars, который также не умеет использовать встроенную в очки систему отслеживания тела.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Новая версия VR Concept расширила возможности сценариев и импорта моделей
