Тег: Codec Avatars

Ясер Шейх, руководитель проекта реалистичных аватаров Codec Avatars в Meta*, выступил с презентацией на конференции NVIDIA GTC на прошлой неделе и рассказал об актуальном состоянии разработки. В сентябре 2023 года Meta показывала работу технологии с Quest Pro с трекингом глаз и лица. До сих пор было неизвестно, какие ещё технологии для этого необходимы. По названию конференции, на которой выступил Шейх, вы можете догадаться, что сами очки подобное проделать не в состоянии. 

Ранее для создания индивидуального аватара образца Codec Avatars требовалась специальная установка под названием MUGSY со 171 камерой высокого разрешения. Но последнее исследование Meta предлагает вместо этого преобразовывать в аватары сканы со смартфонов, оборудованных фронтальными датчиками глубины сцены, вроде любого iPhone с FaceID.

Исследователи из Meta Reality Labs создали прототип ВР-очков со специально разработанным ускорителем для задач искусственного интеллекта. Некоторых его основная задача может удивить: он сделан для периферийного рендеринга фотореалистичных аватаров на автономном устройстве.

Трудно точно воссоздать лицо в динамике. А дополнительным осложнением является регулярно возникающая в ряде «крайних» случаев неестественная передача движений, которая для зрителя погружает, казалось, удачный аватар обратно «зловещую долину». Получается настоящий фильм ужасов.