Нейросети помогли решить проблему поля зрения в компактных очках дополненной реальности

109

Международная группа учёных из Принстона, Пхоханского университета науки и технологий, Научно-технологического университета имени короля Абдаллы и компании Meta* достигла успеха в формировании сложных полноцветных голограмм на сверхтонких дисплеях дополненной реальности с помощью нейросетевой обработки. Их технология может означать прорыв в поле зрения компактных очков с прозрачными дисплеями. Возможно, именно его недавно пообещал инженер Meta.

Исследователи представили работу по созданию нейросетевых расширителей геометрического фактора (этендю) — ве­ли­чи­ны, оп­ре­де­ляю­щей гео­мет­рию пуч­ка из­лу­че­ния между источниками и приёмниками. В результате производители компактных очков могут значительно расширить область реального мира, покрываемую графикой.

Голографические дисплеи, пишут авторы, могут генерировать световые поля путём динамической модуляции волнового фронта когерентного луча света с помощью пространственного модулятора света, что обещает богатые возможности применения в виртуальной и дополненной реальности. Однако ограниченное пространственное разрешение существующих модуляторов света ограничивает угол дифракции. Решением стали нейросетевые расширители этендю с эффективным увеличением на два порядка. По сравнению с существующими подходами без ИИ, нейросетевые расширители создают более качественные полноцветные голограммы для более сложных сцен.

В голографических дисплеях используются оптические элементы, которые достаточно малы, чтобы поместиться в обычные очки. Они проецируют изображения, которые легко интегрируются в обычное поле зрения пользователя, но у них удручающее поле зрения, двукратно отстающее от самых простых очков виртуальной реальности. С другой стороны, очки с непрозрачными дисплеями решают эту проблему, но обычно громоздки, поскольку в них необходимо разместить дисплеи и оборудование, необходимое для их работы. Это даёт голографическим дисплеям возможность обойти конкурирующие технологии в повсеместном распространении, если разобраться с обзорностью.

Этендю — это физическая величина, связанная с любой оптической системой, которая ограничивает сверху поле зрения и размер окуляра. Пространственные модуляторы света, создающие цифровые голограммы, обладают ограниченным этендю, которое на несколько порядков ниже, чем у аналоговых устройств, что приводит либо к узкому полю зрения и неприемлемо маленькому окуляру. К сожалению, на сегодняшний день и для ближайшего будущего не существует способа создать значительно более сложный электронный модулятор для решения этой задачи из-за фундаментальных проблем, таких как перекрёстные помехи, энергопотребление и размер устройства.

Учёные пошли путём интеграции в оптические системы компактных пассивных элементов на новых принципах работы. Они обратились к искусственному интеллекту, чтобы увеличить этендю и через него поле зрения, не жертвуя другими показателями, такими как точность голограммы и размер системы. Вслед за теорией они создали прототип дисплея с нейросетевым расширителем этендю.

Нейросетевой расширитель выполнен как дифракционный оптический элемент. Негатив заученного паттерна выгравирован на подложке, образующей штамп. Он прижимается к полимерной форме, которая крепится на стеклянную подложку. Полимер содержит окончательный паттерн. Дифракционные оптические элементы, похожие на матовое стекло, вставляются в прототип очков.

Перед нами новая модель распространения дифференцируемого волнового фронта, которая рассматривает модулятор и расширитель этендю как одну нейронную сеть. Она требует обучения максимизации точности голограммы, для чего учёные применили несгенерированные изображения. Утверждается, что итоговое устройство поддерживает современные сверхширокоугольные голограммы. В частности, нейронные расширители этендю учатся очень точно рассеивать свет, создаваемый модулятором, перемещая некоторые элементы изображения в диапазоны частот, которые плохо воспринимаются человеческим глазом.

Это улучшает качество голографического изображения, делая его более крупным, чётким и удобным для просмотра. Расширитель повышает точность реконструкции более чем на 10 дБ пикового отношения сигнала к шуму по всем цветовым каналам. Авторы работы подчёркивают что нейросетевые расширители этендю поддерживают высококачественные голограммы с большим полем зрения без уменьшения окуляра.

Отчёт об исследовании доступен в PDF.

*В России признана экстремистской организацией

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.

Далее: Реалистичные 3D-аватары Meta*, Codec Avatars, требуют четыре RTX 4090 для каждого пользователя