Инструмент адаптивной визуализации DeepFocus от Facebook на основе её же алгоритмов искусственного интеллекта в реальном времени создаёт естественное размытие объектов, находящихся не в фокусе. Эта технология идёт рука об руку с очками виртуальной реальности, которым она нужна с целью повысить реалистичность изображения высвобождать ресурсы графики, снижая качество там, где оно не нужно. Facebook сделала большой шаг в сторону её распространения.
Разработчики Oculus, самой популярной платформы виртуальной реальности для ПК, мобильных и/или автономных очков, опубликовал DeepFocus как программное обеспечение с открытым исходным кодом. Использовать его может любой желающий вне зависимости от устройств. Расходы и риски при интеграции, правда, также возлагаются на интегратора.
Остановимся подробнее на принципе работы DeepFocus. Когда вы держите руку перед глазами, ваши зрачки естественным образом сходятся так, чтобы взгляд сфокусировался на объекте внимания. Это природный способ повысить сосредоточенность и повысить скорость обработки информации при экономии ресурсов. Однако в современных очках виртуальной реальности он не работает, поскольку свет исходит с одного расстояния, что приводит к перегрузкам зрительного аппарата.
Здесь на сцене появляются варифокальные дисплеи и отслеживание глаз: первая технология имитирует разноудалённость объектов аппаратно, а вторая помогает на программном уровне. По сути, это позволяют сосредоточиться на объектах независимо от их виртуального расстояния от вас, что делает общие ощущения более комфортными и захватывающими. Но в этом пазле не хватает фрагмента — способности очков воспроизводить размытое, расфокусированное изображение. В дело вступает DeepFocus.
В отличие от других алгоритмов искусственного интеллекта, используемых для анализа изображений на основе глубокого обучения, DeepFocus, как говорят в Facebook, создаёт визуальные эффекты сравнительно высокого качества:
Сеть точно синтезирует размытие расфокусировки, стеки фокусировки, многослойные декомпозиции и изображения с множеством видов, используя только общедоступные изображения RGB-D и обеспечивая в реальном времени почти правильные отображения сетчаточного размытия с широким набором поддерживающих аккомодацию очков.
Facebook публикует исходные данные проекта и данные обучения нейронных сетей «для инженеров, разрабатывающих новые системы виртуальной реальности, специалистов по зрению и других исследователей, изучающих восприятие».
Подробности вы найдёте в блоге Facebook и в отчёте об исследовании с SIGGRAPH Asia 2018.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Oculus показала прототип очков с обзором 140 градусов и авторегулировкой фокуса
