Лаборатория дополненной и виртуальной реальности Сбера представила альфа-версию Digital Avatars — сервиса, который по звуковому файлу с записью речи человека формирует лицевую анимацию трёхмерного аватара.
Digital Avatars предлагает автоматическое создание лицевой анимации для аватаров с совместимыми с ARKit FACS-блендшейпами. Руководитель лаборатории Максим Козлов описал процесс в письме Голографике:
В целом, всё просто. Вы записываете или генерируете звук с помощью любых сервисов. Потом загружаете дорожку в .wav на digitalavatars.ru и через 15 секунд получаете файл, который можно загружать в 3D-редакторы, и губы аватара синхронизируются со звуковой дорожкой.
Ниже вы видите пример анимации, который сервис, по словам Козлова, сделал за 10 секунд:
После регистрации на альфа-тест на сайте проекта вы получите доступ к плагину для импорта анимации в Unreal Engine, Unity3d, Maya и Blender, возможности выбирать эмоции персонажа и видео по установке и импорту анимации. Пример 3D-аватара с лицевым скелетом есть в комплекте с плагинами.
Команда проекта хочет узнать потребности разработчиков в разных сценариях применения, включая игры, CG-рендеры виртуальных инфлюенсеров и образовательные решения виртуальной реальности, а также предлагает делиться результатами и задавать вопросы в Telegram-канале DigitalAvatarsBot. Основной целью альфы сотрудники лаборатории Сбера называют изучение потребностей аудитории для доработки продукта.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Ultraleap выпустила предварительную версию трекинга рук Gemini