Исследовательская группа Facebook Reality Labs опубликовала подробное исследование метода контроля высокореалистичных аватаров в реальном времени, развернув предыдущую работу, которую назвала «Codec Avatars».
Сотрудники Facebook Reality Labs создали систему, способную анимировать виртуальные аватары в режиме реального времени с беспрецедентной (по крайней мере, для Facebook) точностью при помощи компактного оборудования. Система всего из трёх обычных камер, интегрированных в очки, фиксирует глаза и рот пользователя и способна точно отображать нюансы лицевой мимики конкретного человека.
Смысл исследования заключается не только в размещении камер, но и в технической магии, лежащей за использованием информации от них для виртуального представления людей.
Наша система работает […] с широким спектром выражений, включая надутые щёки, прикусывание губ, движения языка и такие детали, как морщины, которые трудно точно воспроизвести с помощью предыдущих методов, — говорят авторы.
Facebook Reality Labs опубликовала техническое видеорезюме работы к SIGGRAPH 2019:
Полный текст исследовательской работы с погружением в методологию и математику вышел под названием «Лицевая анимация в виртуальной реальности через преобразование многоракурсных изображений» («VR Facial Animation via Multiview Image Translation») в журнале ACM Transactions on Graphics. Авторами статьи стали Ши-ан Вей (Shih-En Wei), Джейсон Сарагих (Jason Saragih), Томас Саймон (Tomas Simon), Адам У. Харли (Adam W. Harley), Стивен Ломбарди (Stephen Lombardi), Михаль Пердох (Michal Perdoch), Александр Хайпс (Alexander Hypes), Девай Вонг (Dawei Wang), Эрнан Бадино (Hernan Badino) и Язер Шейх (Yaser Sheikh).
В рамках проекта создано две пары экспериментальных очков: (а) очки с девятью камерами; b) очки с тремя камерами. Позиции камер трекинга, которые работали в очках а), обведены красным.
Первые очки больше и используют больше камер, которые позволяют снимать более широкий диапазон мимики лица и глаз. Это облегчает задачу поиска соответствий между новыми данными и результатами заблаговременного цифрового сканирования пользователя. Авторы говорят, что этот процесс автоматический и не требует ручного ввода и однозначного соответствия между «пробами».
После установления соответствий можно использовать более компактные очки для трекинга с тремя камерами, расположение которых соответствует таковому у первого устройства. Благодаря наличию исходных данных, более скромный набор тоже хорошо справляется с задачей.
В документе основное внимание уделяется точности системы. Предыдущие методы реалистичны, но точность передачи лица пользователя по сравнению нарушается в ключевых деталях, особенно с редкими проявлениями мимики и взаимосвязью глаз и рта. Ещё больше работа впечатляет, если вспомнить, что речь идёт об очках, которые закрывают половину лица и вынуждены восстанавливать картину по кадрам с очень близкого расстояния.
Основной проблемой внедрения такой системы является потребность в предварительном сканировании пользователей. Но если необходимость в сканах сохранится, рынок выработает решение, от открытия специальных кабинок до домашних систем «аватаризации».
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: USPTO опубликовало патентную заявку Apple на очки с интегрированным трекингом
