Известный производитель камер светового поля Lytro раскрыл планы по релизу оборудования для съёмок фильмов виртуальной реальности. Компания разработала маштабируемое конечное решение для съёмки, обработки, редактирования и рендеринга 360-градусного видео нового поколения, в котором зритель может перемещаться в реальном времени.
Lytro основана в 2006 году Реном Энджи (Ren Ng), а первая цифровая камера выпущена в 2012-м. Она позволяла пользователям менять фокус в фотографиях после съёмки благодаря применяемой в основе технологии светового поля. В прошлом году Lytro выпустила линейку камер Illum, в теории направленную на профессионалов, но на практике адресованную немногочисленным энтузиастам и любителям всего нового. Недавние инвестиции в размере $50 миллионов позволили Lytro разработать полнофункциональное решение для молодого рынка виртуальной реальности под названием Immerge. Что касается базовой аппаратной части, Immerge — это профессиональная стереоскопическая сферическая камера высокого разрешения, не требующая последующего сшивания кадров.
Как выяснилось, технология светового поля идеально подходит для виртуальной реальности, так что после десяти лет разработок Lytro, наконец, может ждать триумф. Примечательно, что о технологии уже успели заговорить производители потребительских устройств, пусть и не совсем для VR-фильмов: американский стартап Magic Leap использует дисплеи светового поля для создания очков смешанной реальности.
Съёмка светового поля отличается от традиционной тем, что собирает намного больше информации о свете, проходящей через внутреннее пространство камеры (линзы, датчик изображения). В то время как обычная камера фиксирует свет, попадающий на её датчик, статически и в двух измерениях, камера светового поля фиксирует данные о том, с каких направлений и расстояний он исходит.
Практическая польза того, что камера фиксирует световые волны в их положении относительно собственного внутреннего пространства — сенсорного блока, в том, что в записанных пределах вы можете переориентировать фокус на любой уровень сцены. Если сделать блок достаточно большим, у вас хватит пространства для путешествия по сцене, смены позиций наблюдателя. Двигайтесь вперёд и назад, вправо и влево, получите возможность заглянуть за объекты. К тому же картинка не просто достраивается в цифре, а основывается на реальных физических параметрах и естественна по своей природе.
Lytro Immerge оснащена наращиваемыми массивами датчиков светового поля, которые фиксируют свет по полуметровому горизонтальному объёму. Это значит, пользователь может перемещаться по высокоскоростному сферическому 3D-видео с шестью степенями свободы при условии наличия очков с позиционным трекингом. Однако преимущества такого контента для виртуальной реальности выходят за пределы трекинга. Поскольку Immerge, утрируя, ведёт запись не поверхностью датчика, а объёмом камеры, нет привязки к определённой глубине фокуса, и очки также не надо специально настраивать или подбирать. Учитывая, что доступные сферические камеры имеют фиксированные линзы, поле зрения и межзрачковое расстояние в стереоскопии, преимущество камеры Lytro для VR-индустрии в виде универсальности очевидно.
По теме: Jaunt раскрыла характеристики камер ONE и привезла их на Oculus Connect
Но Immerge — не просто камера. Это комплекс программных и аппаратных инструментов, которые позволяют снимать, обрабатывать и представлять огромное количество информации. И это ахиллесова пята продукта: для этого Lytro пришлось разработать специальный Immerge Server, который должен хранить часы отснятого материала до его выгрузки на внешние хранилища для обработки. Он может находиться на расстоянии до 150 метров от камеры, обмениваясь данными по оптоволокну. С сервером по беспроводному соединению контактируют планшетные компьютеры, с помощью которых можно контролировать оборудование.
Более интересные преимущества системы сбора данных проявляются после выгрузки. Поскольку Immerge пишет трёхмерную информацию, она может быть помещены в VFX-пакеты типа Nuke с графическими элементами, аккуратно вставленными в сцену вместе с реальными кадрами. Для «обычного» редактирования Lytro работает с плагинами для известны пакетов, такими как Final Cut и Adobe Premiere.
Конечной целью проекта Lytro является обеспечение пользователя возможностью грузить из Сети сжатый 360-градусный видеопоток. Изначально созданный для высококлассных стационарных очков, «движок для воспроизведения интерактивного видео светового поля» — не просто плеер. С помощью интеллектуального алгоритма он будет буферизовать некоторые данные, чтобы справиться с движениями головы пользователя. Отрисовка будет включать область в поле зрения плюс некоторые дополнительные детали для реакции на быстрые движения пользователя. Конечно, это не поможет, если человек делает нечто неожиданное, вроде резкого разворота на 360 градусов — в этом случае будет снижено разрешение сферы, чтобы к «стабилизации» вернуть потоку прежнее качество.
При использовании гарнитур задействуется и позиционный трекинг, чтобы зрители могли перемещаться по контенту в пределах объёма камеры. Это значит, что сидящему человеку должно хватить объёма Immerge для ощущения параллакса.
Lytro не скрывает острую необходимость в доработке решения, но её генеральный директор Джейсон Розенталь (Jason Rosenthal) заверяет, что масштабируемости хватит для работы видео на маломощном оборудовании типа Android-смартфона в Gear VR. Пропускная способность беспроводной связи накладывает значительные ограничения, если речь идёт о потоке данных, который многократно больше потока 4K-видео с YouTube, так что в первое время, вероятно, возникнет необходимость загружать ролики на устройство заранее.
Разумеется, всё это передовое оборудование поставляется не бесплатно, и производитель говорит о том, что оно не будет дешёвым. Распространять решения Immerge будут на условиях аренды по разной стоимости в зависимости от конфигурации, гибкие возможности которой заложены в проект изначально. Каждый из горизонтальных сенсорных массивов-слоёв сделан съёмным для снижения цены, веса, точности и уменьшения объёма камеры, хотя о характеристиках Lytro пока предлагает лишь делать предположения.
Розенталь говорит, что сейчас его компания нащупывает рынок. В первой половине 2016 года она выпустит снятые новой камерой видео для ВР-гарнитур первого поколения. Съёмками займутся контент-партнёры, такие как Felix & Paul, Vrse и WEVR, которые получат решения раньше остальных.
Виртуальная реальность является новой волной в кинематографическом контенте, и повествователи, использующие погружение, искали технологию. которая позволит им реализовать свои творческие задумки, — продолжает Розенталь. — Мы считаем, что возможности светового поля помогут создателям виртуальной реальности выполнить обещания этой новой среды. Lytro Immerge — готовое решение на базе технологии светового поля для конечных пользователей, которое будет предоставлять всё аппаратное и программное обеспечение и сервисы, необходимые для съёмки, обработки, редактирования и воспроизведения кинематографического контента профессионального уровня.
Далее: Nokia представила профессиональную VR-камеру OZO
По материалам Road to VR
