Ясер Шейх, руководитель проекта реалистичных аватаров Codec Avatars в Meta*, выступил с презентацией на конференции NVIDIA GTC на прошлой неделе и рассказал об актуальном состоянии разработки. В сентябре 2023 года Meta показывала работу технологии с Quest Pro с трекингом глаз и лица. До сих пор было неизвестно, какие ещё технологии для этого необходимы. По названию конференции, на которой выступил Шейх, вы можете догадаться, что сами очки подобное проделать не в состоянии.
В презентации инженер рассказал, что для рендеринга аватаров на каждой стороне использовали рабочую станцию с четырьмя видеокартами GeForce RTX 4090. Это означает, что технология очень далека от того, чтобы работать с таким уровнем визуального качества на автономных очках. Слишком велик разрыв в производительности даже с одной 4090.
Для сентябрьской демонстрации команда использовала Codec Avatars 2.0. Однако позже Шейх заметил, что инженеры смогли запустить старую версию Codec Avatars 1.0 с несколькими людьми на автономных устройствах. Эти аватары можно создать с помощью сканирования лица смартфоном.
Codec Avatars 1.0
Компания уже показала новое поколение технологии — Codec Avatars 3.0, которое использует гауссово разбрызгивание (Gaussian Splatting) для более реалистичного изображения людей, вплоть до отдельных волосков. Как и Codec Avatars 2.0, это не работает без стационарных компьютеров.
Согласно просочившейся в СМИ дорожной карте аппаратного обеспечения Meta, технология Codec Avatars найдёт применение в следующих очках Quest премиум класса, заменителе Quest Pro. Им может понадобиться отдельный нейропроцессор. Компания работает над этими аватарами много лет. Впервые соответствующее исследование вышло на публику в 2019 году. Долгосрочная цель — обеспечить фотореалистичное телеприсутствие на доступных широкому потребителю очках.
Между тем, Apple в Vision Pro уже предлагает аналог этого решения, аватары Persona. Технология находится на ранней стадии и не лишена недостатков, однако работает у всех покупателей очков из Купертино, а в следующей версии из окон с трёхмерными головами превратится в настоящие пространственные аватары. Чтобы создать Persona, тоже нужно сканирование лица, которое можно провести с помощью самих Vision Pro.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: SceneScript: новый метод реконструирования трёхмерного пространства с помощью машинного зрения
