Мехатроника на службе наших глаз: как работает главная технология Varjo

626

Varjo — новое имя на рынке виртуальной и дополненной реальности. Но имя громкое, ведь компания собирается предложить нам очки с очень высоким «воспринимаемым» разрешением и уже добыла на это $15 миллионов. До сих пор было непонятно, как работает их ключевая технология, которая превращает массив из двух дисплеев обычного и повышенного разрешения в механический аналог фовеального рендеринга. Наконец, финны созрели для того, чтобы объяснить всё в доступной визуальной форме.

На рынке есть два типа дисплеев, которые хорошо подходят для очков виртуальной реальности (эту же конструкцию Varjo использует для дополненной). Первый тип: обычные дисплеи, подобные тем, которые вы видите в своих смартфонах. Если для смартфонов их разрешение даже превысило разумные пределы, то в очках, ближе к глазам и с искажением из-за линз, прекрасно видно отдельные пиксели, а это разрушает погружение. Второй тип: микродисплеи, которые демонстрируют замечательную плотность пикселей, но не могут обеспечить широкое поле обзора.

Varjo решила дилемму выбора дисплея. В анимации от финской компании вы можете наблюдать работу её системы. Слева направо: глаз пользователя, обычная линза, подвижная рефракционная оптика (сверху) и микродисплей (снизу), а также обычный дисплей.

Рефракционная оптическая система может перемещать отражённое из микродисплея изображение в соответствующее место обычного дисплея. Идея заключается в том, что отражённое изображение с высоким разрешением всегда будет располагаться в самом центре поля зрения пользователя с помощью точного отслеживания глаз, а традиционный дисплей с более низким разрешением заполнит периферию, где ваш глаз не может видеть столько же деталей. Это очень похоже на фовеальный рендеринг через программное обеспечение, за исключением того, что способ Varjo заключается в перемещении самих пикселей туда, где они нужны, вместо того, чтобы понижать и повышать качество в определённых частях кадра.

Вот пример от Varjo, который показывает разницу между картинкой с наложением от микродисплея и без него:

Разумный вопрос: достаточно ли быстро и точно движется оптика в компактной конструкции очков, чтобы не отставать от движений глаз? Ответ можно найти в ключевом патенте компании, «Устройство дисплея и метод отображения с помощью фокусного и контекстного дисплеев» («Display Apparatus and Method of Displaying Using Focus and Context Displays»), где описаны механизмы, ответственные за работу системы.

Подсказки есть и в списке вакансий Varjo, который включает «эксперта по миниатюрной мехатронике»:

Вы будете ответственны за проектирование исполнительных механизмов и средств управления двигателем для нашего устройства смешанной реальности. […] Вы будете участвовать в разработке передовых моторных технологий и разработке новой механики привода, чтобы использовать мощь специально разработанной оптики, двигателей и электроники для достижения новых горизонтов в миниатюрной мехатронике.

[…]

Обязанности:

— Создание алгоритмов управления двигателем

— Дизайн системы позиционного декодирования

— Установка целевых показателей и требований к двигателям

[…]

В главном патенте Varjo обычный дисплей назван контекстным, а микродисплей — фокусным. Документ описывает различные способы их комбинирования между собой и с другими технологиями, включая волноводы, дополнительные призмы и проекторы.

Ещё один вопрос: как инженеры собираются бороться с оптическими артефактами, такими как отражения дисплеев и оптики? В патенте затронута и эта проблема. Инженеры предлагают ряд методов борьбы с артефактами, в том числе маскировку области традиционного дисплея, которая находится непосредственно за отражённой картинкой, затемнение границ двух областей для более равномерного перехода между ними в одном кадре даже интеллектуальный подбор границ к частям изображения, чтобы они органично интегрировались в сцену и были менее выраженными.

Определить качество финального устройства по схемам из патента невозможно, ведь при реализации часто вскрывается огромное количество деталей, которые могут повлиять на пользовательский опыт. Тем не менее (и это удивительно), мы уже знаем об электронно-оптической системе Varjo больше, чем о её аналоге из Magic Leap One.

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВКTwitter и Facebook

Далее: Oculus патентует изогнутый дисплей для ВР-очков