Если вы подписаны на Голографику, со стереоскопическим видео вы уже знакомы. В очках виртуальной реальности это обычное дело, тут полно панорамных роликов с YouTube и множества менее известных сервисов. Среди обывателей за эффект погружения такой контент почти принято называть 3D-видео. Однако в отрасли есть иной тип видеоконтента, которому этот эпитет идёт больше.
Вам на глаза могли попадаться записи, в которых людей или другие объекты снимали сразу со всех углов по кругу. В результате они превращались в динамические 3D-модели. Их обычно рекламируют как возможность обращаться к публике с большей эмоциональной отдачей, транслировать объекты реального мира из одного места в другое или вставлять их в виар.
Такой контент называется объёмным видео (volumetric video, то есть дословно «видео с объёмом»). Это изображения людей, объектов и событий в 3D с возможностью наблюдать их с разных ракурсов и в разных масштабах.
В России есть студия, которая занимается профессиональной съёмкой объёмного видео. Её сделал Сбер, а точнее Sber AR/VR Lab под руководством Максима Козлова. Студию назвали просто — Volumetric Studio. Право на такой всеобъемлющий нейминг ей даёт уровень: здесь инженеры Сбера собрали решения для съёмки контента самой высокой реалистичности, практически телевизионного качества.
Попробуй собери
Технология volumetric video прожорливая, очень жадная до ресурсов. Дело и в деньгах, и в вычислениях, и в электроэнергии, и в камерах. Начать стоит с камер, потому что понимание собранной установки проясняет уникальность всего сеттинга. Второй такой едва ли легко найти, особенно в санкционных условиях.
В моей голове до знакомства с особенностями объёмной записи риг был набором из нескольких камер, обычно экшн; эдакий камерошар, который пишет видеосферу. Цена высокая — несколько тысяч долларов, может быть даже десятки. Но в рамках приличий для средней студии.
У Сбера — более масштабные проекты. Volumetric Studio один из них. Её создатели пользуются профессиональными камерами Volucam, которые подходят для научных исследований, авиакосмической и оборонной сферы, промышленного машинного зрения и дополненной / виртуальной реальности с поддержкой многокамерных систем.
Студия работает с Volucam с 4K-матрицами и сменной оптикой. В зависимости от запроса в риге может быть до 56 таких камер. Камеры крепят на быстровозводимой металлической конструкции компании Prolyte, хорошо известной в развлекательной индустрии. Диаметр рига — 10 метров. Там же расположены 38 осветительных приборов от Aputure, NANLUX и ARRI.
Сотрудники студии пользуются просмотровыми экранами, рекордерами, тайм-системами, таймкод-генераторами, петличными микрофонами и прочими устройствами, которые необходимы в профессиональной съёмке.
Объём RAW-данных, который нужно прогонять и обрабатывать, огромен. Им занимаются шесть серверов со скоростным мобильным хранилищем.
Volumetric-скороговорка: фотограмметрия, секвенция, ретопология
Процессы в студии объёмного видео отличаются от обычной съёмки так же, как рисование карандашом на листочке от создания игрового уровня в Unreal Engine. Навык художника пригодится, но к нему нужны совсем другие профессиональные компетенции, потому что процесс схож лишь в базовом моменте — восприятии мира матрицей камеры.
Что такое volumetric-видео? Самое точное определение — это фотограмметрия со скоростью до 60 FPS, в нашем случае, — рассказывает Максим. — Если фотограмметрическую реконструкцию сейчас можно получить с фотосета, сделанного практически на любую камеру, для видео необходимы специальные видеокамеры машинного зрения с глобальным затвором и возможностью генлока (синхронизации видеосигналов — прим. ред.). Мы записываем движения человека и в дальнейшем, обрабатывая изображения с камер в многоступенчатом пайплайне, создаём текстурированную секвенцию 3D-моделей. Эту секвенцию можно адаптировать под любую платформу, любой 3D-редактор или игровой движок.
Пайплайн обработки данных включает подготовку изображений для реконструкции высокополигональной геометрии, просчёт текстур, оптимизацию геометрии (ретопологию), сглаживание и 3D-клин-ап (автоматическая и ручная 3D-ретушь, цветокоррекция, формирование сегментированных UV-карт, то есть развёртки трёхмерного изображения). Отдельно команда прорабатывает и просчитывает 3D-эффекты.
Параллельно с volumetric-видеосеквенцией на выходе получается синхронный покадровый мокап (скелетная анимация). С ним можно покадрово редактировать положение скелета в пространстве. Единожды отснятые кадры не высечены в камне, модель становится заготовкой для анимирования, своего рода ассетом, который можно свободно использовать в производстве контента.
Зачем все сложности
Использовать формат объёмного видео можно в любых 3D-сценах, включая геймдев и кинопроизводство, приложения виртуальной и дополненной реальности. Наиболее популярными сферами применения стали маркетинг, образование, а также массовые развлечения, такие как музыкальные клипы и шоу, создание массовки в кино, съёмка спортивных событий.
Спорт — идеальный кейс для volumetric-видео, так как технология позволяет запечатлеть сложное и быстрое движение спортсмена или артиста в объёме и впоследствии воспроизводить и просматривать с любого ракурса в деталях любую фазу движения, — продолжает Максим. — Это не только круто с эстетической точки зрения, но и полезно для обучения сложным движениям в акробатике, гимнастике, хореографии.
Коллеги из СберМаркетинга на мою просьбу показать примеры работ Volumetric Studio рассказали о нескольких проектах.
СберТанцы — это продвижение и студии, и Сбера как технологической компании. Ребята из Sber AR/VR Lab сделали эффекты дополненной реальности для веб-страницы проекта — танцующие цифровые аватары Клавы Коки, Филиппа Киркорова, Вани Дмитриенко и Анет Сай. Пользователям предложили конкурс на лучшее видео, которое они опубликуют в соцсетях с правильным хештегом. В российском TikTok общее число просмотров роликов превысило 4 миллиарда.
Для вручения ежегодной премии «Новое радио AWARDS» команда разработала интерактивную модель сцены, где проходила трансляция церемонии и volumetric-шоу, а также создали виртуальные сцены, на которых артисты (их цифровые аватары) показывали свои номера с возможностью просмотра с любого ракурса.
В экскурсию Музея-панорамы Волгограда в дополненной реальности студия интегрировала volumetric-персонажа — Вальку.
Из недавних кейсов можно отметить промо для сериала «Балет» на платформе Wink и «тестовый, но яркий», как говорят в СберМаркетинге, проект — volumetric-футболист.
Для «Балета» студия воссоздала трёхмерное изображение балерины в движении, передав мельчайшие аспекты ее пластики и мимику. Героиней и исполнительницей танца стала Анита Пудикова, балерина Большого театра.
Носителем виртуального балетного выступления оказалась купюра номиналом 100 рублей. Это не оценка танцевального искусства, просто на купюре есть изображение Большого театра. Активировать дополненную реальность люди могли на промосайте.
Volumetric-футболист — это демонстрация возможностей студии. Героя можно поместить куда угодно, использовать с любых ракурсов, делать облёты и так далее. Энтузиасты могут скачать модель и поработать с ней, например, в Unreal Engine.
Много кейсов с разными инсайдами и собственными находками по метаверсу Максим Козлов выкладывает в своём личном Telegram-канале, поэтому если вам не хватило примеров, можно пройти туда.
Почём на Руси волюметрик
Восьмичасовая смена Volumetric Studio стоит ₽400 000. В эту сумму уже входит 30 секунд готового материала. Дальнейшая тарификация основана на стоимости минуты контента — от ₽200 000 до ₽400 000, в зависимости от хронометража. В рамках коротких заказов, когда на выходе нужно не более 10-15 секунд контента, студия работает с заказами на половину смены.
Цена, как в любом проекте по разработке ПО или создания контента, может плавать в зависимости от специфических требований заказчика. На своём рынка она понятна, а обывателя перестаёт шокировать после ознакомления с внутренней кухней, как у нас с вами.
За работу с клиентами отвечают ребята из СберМаркетинга, что намекает на основную область использования объёмного видео. Они консультируют и организовывают процесс съёмки. По их словам, в среднем для съёмки минуты готового видео требуется 3–5 дней.
В эти дни ваша жизнь станет намного объёмнее, чем была.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Угловое разрешение: почему для очков оно важнее, чем пиксели на дисплее
