Meta* поделилась видео, которое раскрывает новую функцию Audio To Expression, добавленную в операционную систему Quest 71-й версии. Эта функция использует модель искусственного интеллекта, генерируя правдоподобные движения лицевых мышц на аватарах только с помощью данных с микрофонов, без оборудования для отслеживания лица.
Ранний SDK Oculus Lipsync в 2015 году предложил такую возможность для губ, а Audio To Expression официально заменяет устаревшее решение и расширяет доступные возможности нейросетевого анализа на щёки, веки, брови и так далее. Meta утверждает, что инструмент при этом использует даже меньше вычислительных ресурсов.
Audio To Expression работает на Quest 2, 3 и 3S. Технически есть поддержка Quest Pro, но у этих очков есть датчики отслеживания лица, которые разработчики могут использовать для вывода не предполагаемых по звуку, а реальных выражений лиц.
Помимо улучшения реалистичности аватаров в социальных сервисах и играх, новая технология может помочь в визуализации компьютерных персонажей для небольших студий и независимых разработчиков, которые не могут позволить себе захват движений.
Аватары Meta пока не поддерживают Audio To Expression и остались на Lipsync SDK, однако у них есть имитация движения глаз, для которой разработчик помечает каждый виртуальный объект в сцене по уровню его визуальной заметности, а также периодическое моргание для дополнительной реалистичности.
Документация по Audio To Expression доступна для Unity, Unreal и остальных движков.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Unigine SDK 2.19.1 — весомые иммерсивные улучшения
