Новая технология «голографической» пространственной видеосвязи от Meta* позволяет в сеансах видеосвязи наблюдать собеседника в виде фотореалистичного цифрового представления в натуральную величину. Она предназначена для очков виртуальной и смешанной реальности VR Glasses, продажи которых начнутся весной 2027 года.
Во время разговора пользователь увидит перед собой стереоскопическое изображение другого человека с воспроизведением движений, мимики и направления взгляда. Пространственный звук создаст ощущение, что голос исходит непосредственно от этого человека.
В основу технологии лёг генеративный искусственный интеллект, который формирует синтезированное видео на базе предварительно созданного цифрового представления человека и данных, поступающих во время разговора.
В отличие от обычной видеосвязи, системе не нужно постоянно снимать лицо пользователя с внешнего ракурса. Камеры VR Glasses отслеживают мимику, а датчики устройства — движения головы и глаз. В документации для разработчиков компания уточняет, что отслеживание лица для видеоконференции недоступно сторонним приложениям. Однако разговоры можно будет проводить через приложения, включая WhatsApp и Zoom, то есть, вероятно, операционная система будет передавать стороннему ПО уже обработанные данные. Участники, подключившиеся со смартфонов и компьютеров, будут видеть цифрового собеседника на обычных плоских экранах.
Несмотря на название, первоначальная версия «голографических» звонков не создаёт полноценную объёмную модель человека. Вместо неё здесь стереоскопический видеопоток с фоном, формирующий иллюзию трёхмерности.
Независимое тестирование показало, что технология убедительно воспроизводит облик собеседника при неподвижном положении зрителя. Однако при перемещении в сторону изображение поворачивается вслед за наблюдателем, поскольку система пока не позволяет рассматривать цифрового человека с разных ракурсов. Также заметны недостатки детализации лиц. Разработчики планируют впоследствии перейти к полноценному объёмному представлению, однако сроки не оговаривают.
Ранее «Голографика» рассказывала об экспериментальной технологии Codec Avatars, которая позволяет воспроизводить трёхмерных фотореалистичных людей с помощью нейронных сетей. Hologram Calling использует другой подход, более подходящий компактным потребительским устройствам.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: ByteDance готовит модель генерации миров, из-за которой могли отложить новые очки Pico
