Выступление главного научного сотрудника Oculus Майкла Абраша (Michael Abrash) на конференции Connect стало доброй традицией с непременно интересным наполнением. Он помогает взглянуть на виртуальную реальность в перспективе. В этот раз — на Connect 3 — Абраш сделал несколько смелых и конкретных прогнозов о состоянии отрасли в ближайшие пять лет.
Во-первых, в краткосрочной перспективе наиболее важно улучшать визуальные качества виртуальной реальности. Современные шлемы высокого класса, такие как Rift и Vive, предлагают 100 градусов поля обзора и разрешение 1080×1200, что эквивалентно примерно 15 пикселям на градус. Человек от природы обладает полем зрения примерно в 220 градусов — около 120 пикселей на градус. Абраш утверждает, что дисплеи и оптика далеки от достижения этой цели (забудьте о 4K или 8K, это больше 24K на глаз). По его словам, через пять лет мы можем надеяться на удвоение количества пикселей на градус — до 30 — с расширением поля зрения до 140 градусов при разрешении около 4000×4000 на каждый глаз. Кроме того фиксированная глубина фокуса должна смениться регулируемой. Сейчас сделать такие шлемы невозможно, но в перспективе нескольких лет задача представляется Абрашу решаемой.
Рендеринг картинки в разрешении 4000×4000 на каждый глаз при скорости 90 кадров в секунду находится за пределами возможностей самых мощных бытовых компьютеров. Для достижения таких показателей важной технологией является фовеальный рендеринг («foveated rendering», от лат. fovea centralis — центральная ямка), который в июле 2016 года наглядно продемонстрировал исследовательский отдел компании NVIDIA.
Фовеальный рендеринг — это метод, при котором только небольшая часть изображения в центре поля зрения пользователя отрисовывается в полном качестве, а остальное размывается по мере приближения к периферии. Одной из особенностей нашего зрительного аппарата является лучшее распознавание деталей в центре и ухудшение детализации при улучшении распознавания движения по краям поля зрения. Таким образом фовеальный рендеринг пользуется естественной особенностью зрения для уменьшения затрат ресурсов на отрисовку той части картинки, которой высокая детализация всё равно не нужна. Есть лишь одно «но»: для использования данного метода нужны системы окулографии (слежения за направлением взгляда человека) такой точности, которой от современных устройств добиться не удалось. Но впереди целых пять лет.
Затем Абраш на некоторое время перешёл от графики к звуку. Функция персонализированной передачи звука в зависимости от положения головы (head-related transfer functions — HRTF) улучшит его реалистичность. Текущее решение для трёхмерного звука Rift генерирует HRTF в реальном времени на основе трекинга головы, но оно создано усреднённым для всех пользователей сразу. Функция HRTF должна варьироваться в зависимости от размеров туловища и головы, формы ушей — это выведет качество звука на новый уровень. Абраш не стал вдаваться в способ достижения такой персонализации, для которой обычно требуется тест в безэховой камере, но заметил, что в следующие пять лет будет представлен способ «лёгкой и быстрой» домашней настройки. Также он ждёт значительного прогресса в моделировании отражения, дифракции и интерференции.
Что касается контроллеров, Абраш уверен в способности устройств, подобных Oculus Touch, оставаться в строю в «ближайшие 40 лет». За это время, без сомнений, улучшатся их эргономика, точность и функциональность, но суть не изменится, как много лет не менялась суть компьютерной мыши. Особенно интересно в этом контексте мнение Абраша о трекинге рук без контроллеров или перчаток (как у Leap Motion): в течение пяти лет они могут стать ещё одним стандартом отрасли наряду с контроллерами. Вероятно, здесь можно провести параллель с сенсорными экранами, которые идеальны для планшетов или смартфонов, и физическими кнопками, которые незаменимы в играх и работе на ПК. В разных ситуациях удобным окажется одно из решений.
Вместе с улучшениями по части изображения, трекинга и передачи данных нас ждёт облегчение гарнитур, которые сегодня трудно долго носить во многом из-за веса. В частности, это будет достигнуто лучшим распределением веса комплектующих по корпусам. Также ожидается более гибкая корректировка линз в зависимости от особенностей зрения пользователя — возможно, произрастающая из технологии смены глубины фокуса.
Наконец, шлемы станут беспроводными, но для этого в течение пяти лет придётся поработать, с одной стороны, над беспроводной передачей данных, а с другой, над фовеальным рендерингом.
Далее Абраш коснулся темы добавления элементов реального мира в виртуальный, называемого им «дополненная виртуальная реальность». Шлемы будущего смогут сканировать пространство и переносить вещи из физического окружения пользователя в ВР-приложения. Также актуальной может стать «телепортация» пользователя в снимаемые в реальном времени места. По сути, это смешанная реальность, успехами в разработке которой регулярно делятся исследователи Microsoft. Абраш уточняет: шлемы дополненной виртуальной реальности будут очень отличаться от шлемов дополненной реальности, поскольку позволяют не только накладывать графику, но и контролировать каждый пиксель в смешанной сцене. Чем-то подобным занимается Magic Leap.
Прогресс в виртуальной телепортации, трекинге тела, головы и рук обеспечит значительные улучшения в создании ВР-аватаров. Но реалистичное отображение человеческого тела в реальном времени представляется Абрашу одной из наиболее сложных задач, поскольку мы, не замечая этого, очень внимательны к экспрессии и языку тела. Прорыв в реалистичной передаче окружения, совместных пространствах в течение пяти лет возможен, но на создание аватара, способного передать собеседнику ощущение реального человека, могут уйти десятилетия.
В конце выступления главный исследователь Oculus переключился на «рабочее пространство мечты», о котором говорил и в прошлом году. В виртуальном окружении можно создать любую атмосферу, добавить неограниченное количество интерактивных досок, мониторов и совершенно любых других объектов. Осталось добавить людей, и перед нами мощный многопользовательский инструмент. Но до этого придётся провести все улучшения, о которых шла речь в презентации — изображения, ввода, звука, рендеринга, передачи данных и так далее. Виртуальная реальность должна стать настолько комфортной, чтобы заменить опосредованные технологии: мониторы, мыши, клавиатуры, оцифровку человека, массу программных решений.
Полное выступление Майкла Абраша:
Видеозаписи всех сессий для разработчиков с Oculus Connect 3 доступны в нашем специальном материале.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Oculus плотнее займётся дополненной реальностью и разработкой чипов
По материалам Road to VR
