Международная группа учёных из Принстона, Пхоханского университета науки и технологий, Научно-технологического университета имени короля Абдаллы и компании Meta* достигла успеха в формировании сложных полноцветных голограмм на сверхтонких дисплеях дополненной реальности с помощью нейросетевой обработки. Их технология может означать прорыв в поле зрения компактных очков с прозрачными дисплеями. Возможно, именно его недавно пообещал инженер Meta.
Исследователи представили работу по созданию нейросетевых расширителей геометрического фактора (этендю) — величины, определяющей геометрию пучка излучения между источниками и приёмниками. В результате производители компактных очков могут значительно расширить область реального мира, покрываемую графикой.
Голографические дисплеи, пишут авторы, могут генерировать световые поля путём динамической модуляции волнового фронта когерентного луча света с помощью пространственного модулятора света, что обещает богатые возможности применения в виртуальной и дополненной реальности. Однако ограниченное пространственное разрешение существующих модуляторов света ограничивает угол дифракции. Решением стали нейросетевые расширители этендю с эффективным увеличением на два порядка. По сравнению с существующими подходами без ИИ, нейросетевые расширители создают более качественные полноцветные голограммы для более сложных сцен.
В голографических дисплеях используются оптические элементы, которые достаточно малы, чтобы поместиться в обычные очки. Они проецируют изображения, которые легко интегрируются в обычное поле зрения пользователя, но у них удручающее поле зрения, двукратно отстающее от самых простых очков виртуальной реальности. С другой стороны, очки с непрозрачными дисплеями решают эту проблему, но обычно громоздки, поскольку в них необходимо разместить дисплеи и оборудование, необходимое для их работы. Это даёт голографическим дисплеям возможность обойти конкурирующие технологии в повсеместном распространении, если разобраться с обзорностью.
Этендю — это физическая величина, связанная с любой оптической системой, которая ограничивает сверху поле зрения и размер окуляра. Пространственные модуляторы света, создающие цифровые голограммы, обладают ограниченным этендю, которое на несколько порядков ниже, чем у аналоговых устройств, что приводит либо к узкому полю зрения и неприемлемо маленькому окуляру. К сожалению, на сегодняшний день и для ближайшего будущего не существует способа создать значительно более сложный электронный модулятор для решения этой задачи из-за фундаментальных проблем, таких как перекрёстные помехи, энергопотребление и размер устройства.
Учёные пошли путём интеграции в оптические системы компактных пассивных элементов на новых принципах работы. Они обратились к искусственному интеллекту, чтобы увеличить этендю и через него поле зрения, не жертвуя другими показателями, такими как точность голограммы и размер системы. Вслед за теорией они создали прототип дисплея с нейросетевым расширителем этендю.
Нейросетевой расширитель выполнен как дифракционный оптический элемент. Негатив заученного паттерна выгравирован на подложке, образующей штамп. Он прижимается к полимерной форме, которая крепится на стеклянную подложку. Полимер содержит окончательный паттерн. Дифракционные оптические элементы, похожие на матовое стекло, вставляются в прототип очков.
Перед нами новая модель распространения дифференцируемого волнового фронта, которая рассматривает модулятор и расширитель этендю как одну нейронную сеть. Она требует обучения максимизации точности голограммы, для чего учёные применили несгенерированные изображения. Утверждается, что итоговое устройство поддерживает современные сверхширокоугольные голограммы. В частности, нейронные расширители этендю учатся очень точно рассеивать свет, создаваемый модулятором, перемещая некоторые элементы изображения в диапазоны частот, которые плохо воспринимаются человеческим глазом.
Это улучшает качество голографического изображения, делая его более крупным, чётким и удобным для просмотра. Расширитель повышает точность реконструкции более чем на 10 дБ пикового отношения сигнала к шуму по всем цветовым каналам. Авторы работы подчёркивают что нейросетевые расширители этендю поддерживают высококачественные голограммы с большим полем зрения без уменьшения окуляра.
Отчёт об исследовании доступен в PDF.
*В России признана экстремистской организацией
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Реалистичные 3D-аватары Meta*, Codec Avatars, требуют четыре RTX 4090 для каждого пользователя
