Приложение WorldLens для очков Quest получило новую функцию генерации объёмного эффекта для панорам Google Street View. Разработчик проекта добавил систему, которая в реальном времени создаёт ощущение глубины из обычных двухмерных изображений, используя параллакс и нейросетевую обработку. Версия для SteamVR сейчас находится в разработке.
Новый режим не превращает панорамы Google в полноценные трёхмерные сцены. Вместо этого приложение создаёт аккуратный эффект глубины. После загрузки локации пользователь сначала видит обычную плоскую панораму, однако спустя секунду система достраивает карту глубины, и отдельные объекты начинают визуально отделяться друг от друга. Здания отделяются от неба, рекламные щиты — от фасадов, а деревья и элементы окружения приобретают объём.
Эффект особенно заметен в плотной городской среде, где объекты переднего плана начинают смещаться относительно фона при движении головы пользователя. Аналогично система работает и внутри помещений. В качестве примера можно отметить музей Porsche в Штутгарте, где приложение смогло разделить автомобили и архитектуру здания.
Разработчик приложения рассказал, что изначально проект создавался под названием EarthQuest как эксперимент с API Map Tiles в Картах Google. Главной задачей было не создание зрелищного 3D-аттракциона, а попытка добиться более естественного ощущения присутствия в пространстве.
По словам автора, Google не даёт сторонним разработчикам доступ к исходным данным лидаров и картам глубины Street View. Поэтому приложение вынуждено самостоятельно вычислять пространственную структуру сцены на основе одной панорамы в реальном времени. Для этого используются алгоритмы реконструкции глубины и нейросетевые модели.
Одновременно с новой функцией разработчик выпустил серию обновлений, уменьшающих размытие и искажения по краям объектов. Кроме того, в приложение встроен собственный четырёхкратный нейросетевой апскейлер текстур, повышающий детализацию поверхности без генерации вымышленных объектов и геометрии.
Из-за большого объёма потоковых данных приложение может перегружать память автономных очков, особенно при быстрых переходах между местами. Разработчик утверждает, что общий уровень сбоев остаётся ниже 1% и связывает проблему с ограничениями памяти Quest и высокой нагрузкой при потоковой обработке панорам.
Версия приложения для ПК с поддержкой SteamVR должна получить более высокую производительность, ускоренную генерацию глубины, более быструю загрузку и уменьшение эффекта появления объектов при подгрузке сцены.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Бету Horizon OS научили придавать объём фото, быстро управлять питанием и опускать точку обзора
