Facebook впервые рассказала о проекте «Codec Avatars» в 2019 году. В рамках исследования сотрудники Facebook Reality Labs научились генерировать поразительно похожие на живых людей аватары с помощью сканирования реальных людей массивом из 132 камер. Готовым аватаром можно управлять при помощи прототипа очков виртуальной реальности с тремя камерами, которые снимают области левого глаза, правого глаза и рта. Как в любой современной системе компьютерного зрения, здесь не обошлось без машинного обучения.
Проект впечатлял графикой и трекингом лица, но имел большой недостаток: глаза аватара подвергались искажениям, а взгляд в целом принимал странные направления. В статье «The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation» команда лаборатории представила решение проблемы.
Часть предыдущего конвейера включала нейронную сеть «передачи стиля». Если вы использовали на смартфоне фильтр дополненной реальности, который делает мир похожим на картину, вы уже знаете, что это такое.
Ранее эта передача ранее производилась на этапе формирования изображения, теперь она выполняется на самой полученной текстуре. Направление взгляда берётся от системы слежения за глазами, а не из оценки алгоритма. Результат, который предлагается оценить по предложенным Facebook изображениям и видео, выглядит значительно естественнее.
В конце концов, вы можете получить настоящий зрительный контакт с пользователями Horizon. Если такая система появится в Horizon — вместе со сканерами в общественных местах и особыми камерами в очках. В Facebook это понимают и предупреждают, что технология доберётся до потребительских устройств лишь через много лет.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Didimo привлекла $4,9 млн на создание 3D-аватаров по фото
