Исследователи из Meta Reality Labs создали прототип ВР-очков со специально разработанным ускорителем для задач искусственного интеллекта. Некоторых его основная задача может удивить: он сделан для периферийного рендеринга фотореалистичных аватаров на автономном устройстве.
Meta* давно работает над проектом Codec Avatars, целью которого является создание почти фотореалистичных аватаров для виртуальной реальности. Используя комбинацию встроенных в очки датчиков, в том числе для трекинга взгляда и рта, а также выделенные ИИ-вычисления, система реалистично воссоздает мимику пользователя в реальном времени.
Так это работает, когда у вас дорогой и мощный компьютер. Ранние версии исследований Codec Avatars были подкреплены мощью графических процессоров NVIDIA Titan X, которые с чудовищной разницей затыкают за пояс железо Quest 2.
Но Meta нашла выход для очков с низким энергопотреблением, о чём сообщила в статье к конференции IEEE CICC 2022 года. Инженеры компании разработали специальный чип, построенный по 7-нанометровому техпроцессу, который считает исключительно ради аватаров.
Группа исследователей разработала процессор с учётом важной части конвейера обработки аватаров, в частности, анализа входящих изображений отслеживания глаз и создания данных, необходимых для моделирования. Нейронный ускоритель состоит из 1024 блоков умножения-сложения, есть 2 МБ встроенной памяти SRAM и 32-битный процессор RISC-V. Площадь чипа составляет всего 1,6 мм². Готовность пока далека от массового производства.
Со стороны ПО исследователи перестроили часть модели искусственного интеллекта Codec Avatars, чтобы воспользоваться преимуществами конкретной архитектуры.
Реструктуризация модели обработки данных с датчиков на основе свёрточной нейросети и адаптация к оборудованию позволили полностью разместить её в чипе, чтобы снизить энергозатраты и задержки при доступе к внешней памяти. Прототип достигает производительности 30 кадров в секунду «с низким энергопотреблением и малым форм-фактором».
Разгрузка SoC снижает нагрузку на него и тепловыделение. Snapdragon XR2 продолжает управлять процессом декодирования и рендеринга визуальных эффектов аватара.
К сожалению, сочетание софта и специализированного аппаратного обеспечения не даёт проверить заключения Meta об эффективности разработки. Зато она укладывается в озвученную главным научным сотрудником Reality Labs Майклом Абрашем (Michael Abrash) концепцию перехода от централизованных вычислений к распределённым. Получается, движение в выбранном направлении продолжится. А добавить к нему можно будет другие ИИ-расчёты за пределами аватаров, включая задачи распознавания рук и дополненной реальности.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Meta* Cambria будут намного дороже $800. В планах компании пять моделей ВР-очков
