Социальная платформа виртуальной реальности VRChat начала тестирование встроенной системы отслеживания мимики для аватаров. Нововведение вошло в открытую бета-версию приложения для ПК в Steam и SDK версии 3.10.6. Оно позволяет разработчикам напрямую связывать движения лица пользователя с мимикой виртуального персонажа без прежней необходимости создавать отдельные системы анимации.
VRChat уже несколько лет поддерживает отслеживание глаз и мимики через протокол Open Sound Control (OSC) и стороннее приложение VRCFaceTracking. Однако для воспроизведения полноценной мимики аватарам требовались дополнительные настройки и компоненты. Стандартные средства платформы позволяли использовать данные отслеживания глаз преимущественно для управления взглядом и веками.
Новая система интегрирует отслеживание мимики непосредственно в настройки аватара. Разработчики могут сопоставлять движения глаз, бровей, щёк, губ и челюсти с морф-формами трёхмерной модели, комбинировать выражения лица и согласовывать их с анимацией речи. Для передачи данных система использует стандарт Unified Expressions, разработанный сообществом VRCFaceTracking.
Важным изменением стала встроенная сетевая синхронизация. VRChat передаёт данные о мимике другим участникам виртуального пространства без расходования лимита пользовательских синхронизируемых параметров аватара. При этом точность передачи может снижаться с увеличением расстояния до персонажа, чтобы экономить сетевые ресурсы.
Функция совместима как с внешними системами отслеживания мимики, передающими данные через OSC, так и с технологией Selfie Expression. Последняя использует веб-камеру компьютера или фронтальную камеру устройства Android для переноса выражений лица на аватар. Таким образом, новая система пригодна не только для владельцев специализированных очков с датчиками мимики.
Развитие средств невербального общения остаётся одним из приоритетов VRChat. В 2023 году платформа добавила поддержку окулографии, а в 2024 году расширила возможности отслеживания рук на ПК. Полноценная интеграция мимики дополняет эти технологии, позволяя точнее передавать эмоции и реакции пользователей при общении в виртуальных пространствах.
Новая система пока доступна только в рамках открытого бета-тестирования. Разработчики предупреждают, что её интерфейсы и поведение могут измениться, а созданные с экспериментальной версией SDK аватары могут потребовать доработки после следующих обновлений.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Khronos утвердила расширения OpenXR для многозадачности пространственных приложений
