Meta впервые похвасталась работой над проектом реалистичных аватаров Codec Avatars в марте 2019 года. Они работают на комплексе нейронных сетей и управляются в реальном времени с помощью прототипа ВР-очков с пятью камерами, две из которых следят за глазами, а три — за нижней частью лица. Эксперименты дошли до того, что инженеры Meta* собрали прототип очков с отдельным чипом для связанных с аватарами расчётов.
Ранее для создания индивидуального аватара образца Codec Avatars требовалась специальная установка под названием MUGSY со 171 камерой высокого разрешения. Но последнее исследование Meta предлагает вместо этого преобразовывать в аватары сканы со смартфонов, оборудованных фронтальными датчиками глубины сцены, вроде любого iPhone с FaceID. Вы просто поворачиваете смартфон вокруг своего лица с нейтральным выражением, а затем делаете это снова, но повторяя 65 заготовленных на экране выражений.
Исследователи утверждают, что процесс сканирования занимает в среднем 3,5 минуты, хотя фактическое создание аватара в деталях занимает шесть часов на машине с четырьмя высокопроизводительными графическими процессорами. В случае развёртывания продукта за это, вероятно, будут отвечать облачные серверы.
Заменить 171 камеру на один смартфон помогла универсальная априорная модель гиперсети — нейронная сеть, которая генерирует веса для другой нейронной сети. В в данном случае, для индивидуального аватара. Исследователи обучили эту гиперсеть, сканируя лица 255 разных людей с помощью усовершенствованной установки захвата, похожей на MUGSY, но с 90 камерами.
Само по себе создание аватара смартфоном не ново, но в Meta подчёркивают качество получаемого результата. Среди проблем подхода остаются невозможность работать с очками или длинными волосами, а также ограничение только головой, без других частей тела.
Инженерам предстоит долгий путь до того, как исследования приведут к появлению высокоточных персональных аватаров. Косвенно это отражается в том, что массовые сервисы вместо сканов предлагают пользователям проприетарные мультяшные аватары или их более персонализированные заменители с партнёрских сервисов. Codec Avatars могут со временем стать опцией, а не заменителем, предлагая реалистичность лишь тем, кому это действительно нужно. Сроки любого потребительского внедрения затрудняются прогнозировать даже их разработчики.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Новая система обратной кинематики VRChat радикально улучшает аватары
