Разбирая материалы пятой конференции Oculus Connect, мы не могли обойти стороной подробный доклад о будущем иммерсивных технологий от Майкла Абраша (Michael Abrash), главного учёного недавно переименованной Лаборатории реальности Facebook.
Команда Абраша прокладывает дорогу Oculus, разрабатывая прорывные технологии, которые смогут сделать очки полезнее и популярнее. В этот раз он рассказал о том, как далеко зашёл его отдел за последние два года, пересмотрел прогнозы, сделанные на Oculus Connect 3 в 2016 году до 2021 года, а затем рассказал о развитии таких аспектов, как дисплеи, звук и тактильная обратная связь. Итак, перед вами мысли одного из главных учёных иммерсивного рынка по нескольким важнейшим направлениям.
Дисплеи, фовеальный рендеринг и виртуальные люди
Одно из самых интригующих предсказаний Абраша с Connect 3 касалось дисплеев. Он подсчитал, что через пять лет с 2016 года мы увидим ВР-очки с полем обзора 140 градусов, переменной глубиной фокусировки и разрешением панели 4K×4K с плотностью 30 пикселей на градус.
На F8 в начале этого года Facebook представила прототип Half Dome. Несмотря на то, что даже спустя много месяцев это лишь ранний прототип для обкатки технологий, в нём были фактически установлены варифокальные дисплеи со 140-градусным обзором. «Half Dome достиг двух из трёх моих прогнозов на три года раньше», — заметил Абраш, добавив, что реализовать 4K-дисплеи с 30 пикселями на градус будет «просто».
Он также пояснил, что Лаборатория реальности добилась «значительного прогресса» в варифокальных дисплеях (которые обеспечивают реалистичное динамическое размытие объектов, основанное на их виртуальном удалении от глаз) с помощью движка визуализации под названием «Deep Focus» с элементами ИИ.
Хорошо идёт работа над фовеальным рендерингом, который использует отслеживание глаз, чтобы отрисовывать в максимальном качестве лишь центральную часть поля зрения, добиваясь экономии вычислительных ресурсов через снижение качества к периферии, где наши глаза всё равно не улавливают разницы. Здесь используется инструмент с глубоким обучением, который заполняет отсутствующие пиксели.
Идут эксперименты с виртуальным представлением реальных людей. Экспериментальная система использует «новый подход к машинному обучению», который однажды может «революционизировать то, как мы общаемся и сотрудничаем».
За Half Dome стоят и другие технологии «на будущее». Абраш рассказал о линзах, которые называются «Pancake Lenses» («Блинные линзы»). Они дают гораздо более резкое изображение при разрешениях выше 4K, могут поддерживать поле зрения около 200 градусов и более компактные очки, хотя последние два преимущества нельзя реализовать в одном устройстве. Но даже эти оптические системы, вероятно, отойдут на второй план под давлением волноводных дисплеев, которые в настоящее время разрабатываются для устройств дополненной реальности.
Окулография и действительно реалистичный звук потребуют больше времени
Хотя многие прогнозы Абраша практически сбылись, по некоторым ему пришлось скорректировать расписание. Теперь он ожидает качественного отслеживания глаз и высококачественной смешанной реальности (включая фотореалистичную репликацию реальных сред) около 2022-го, а не 2021 года.
Он также признал, что, несмотря на отличные результаты по персонализированному звуку на основе строения головы (head-related transfer function, HRTF), на его интеграцию может потребоваться больше времени. Эта технология способна передавать звук с невероятной точностью локализации источника. В Oculus SDK уже работает ранняя версия HRTF, но в недавней демонстрации на необходимое предварительное сканирование ушей Абраша ушло 30 минут. Не идеально.
Новые предсказания
Выход на рынок перчаток с точным отслеживанием рук и передачей реалистичной тактильной обратной связи потребует порядка десяти лет. То есть, к 2028 году мы, наконец, сможем чувствовать виртуальные объекты и оперировать ими соответствующим образом.
Я предсказываю, что в первый раз, когда вы сможете использовать свои руки с тактильной отдачей в ВР, это будет как откровение, как первая проба очков виртуальной реальности.
Facebook активизировалась по дополненной реальности, и это помогает ВР-направлению
Oculus начинала и работает на рынке виртуальной реальности, но прогресс в дополненной в последние несколько лет заставляет обращать на неё всё более пристальное внимание. Facebook и Oculus ведёт активные разработки в этой области, а на передовой — лаборатория Абраша.
Означает ли это, что однажды мы увидим очки дополненной реальности от Oculus? Возможно, но учёный также отметил, что прогресс в одной сфере подстёгивает другую, поскольку эти направления делят общий технологический стек.
Виртуальная реальность может продвигаться дальше и быстрее, используя технологию дополненной реальности.
Абраш рассказал, что Лаборатории реальности пришлось изобретать совершенно новую систему отображения в рамках работы по ДР, и она, в свою очередь, могла бы «перенести ВР на другой уровень». Он настолько верит в волноводные дисплеи, что даже продемонстрировал концепт гипотетических очков Oculus с ними на борту.
Эргономика — ещё одна большая область перекрытия технологий, но требования к социально приемлемым очкам дополненной реальности намного выше, чем к ВР-устройствам. Поэтому более быстрый прогресс с ДР-устройствами очень поможет и здесь.
Очки виртуальной реальности могут оказаться лучшими устройствами для дополненной реальности
Если отвлечься от эргономики, очки виртуальной реальности могут стать основными платформами для дополненной реальности. Тогда как Magic Leap One и HoloLens используют прозрачные дисплеи, строго контролируемая среда виртуальной реальности с непрозрачными дисплеями — с реконструкцией реального мира через камеры и другие датчики — может оказаться более разумным выбором. По мнению Абраша, ВР даёт «полный контроль над каждым пикселем без аддитивного смешивания», поэтому «в течение длительного времени будет лучшей средой для смешанной реальности». В конце концов оба направления объединятся, но до этого далеко.
Приход дополненной и виртуальной реальности неизбежен
В качестве лирического отступления Абраш вспомнил историю о том, как Стив Джобс увидел первый персональный компьютер Xerox Alto в 1979 году. Новинка произвела на главу Apple огромное впечатление; он понял, что такие устройства неизбежно станут частью нашей жизни. Вот слова Джобса о своих чувствах в тот момент:
И в течение… десяти минут мне стало ясно, что однажды все компьютеры будут работать именно так. Это было очевидно. Вы можете спорить о том, сколько лет потребуется. Вы можете спорить о том, кто победит и проиграет. Вы не можете спорить с неизбежностью, это было так очевидно.
Эта цитата кажется очень уместной для нынешнего состояния нашей отрасли. Ранние, дорогие образцы оборудования подпитывают скепсис потребителей, но профессионалы видят будущее. И вот каким его видит Абраш:
Представьте себе очки виртуальной реальности, которые представляют собой гладкий, стильный, лёгкий козырёк с полем зрения 200 градусов, ретинальным разрешением, высоким динамическим диапазоном и правильной глубиной фокусировки, со звуком, настолько реальным, что вы можете поверить сгенерированному компьютером; которые позволяют вам свободно смешивать реальное и виртуальное, позволяют вам общаться, делиться и сотрудничать с людьми независимо от расстояния и использовать свои руки для взаимодействия с виртуальным миром. Если бы они существовали, мы бы играли, работали и общались в них каждый день.
Представьте себе очки дополненной реальности, которые являются социально приемлемыми и пригодными для повседневного использования, которые дают вам полезные виртуальные объекты, такие как ваш телефон, ваш телевизор и виртуальные рабочие пространства, которые дают вам сверхъестественные способности, персонального помощника, ориентированного на контекст, и, прежде всего, способность для общения, совместного использования и совместной работы с другими людьми в любое время и в любом месте. Если бы эти очки существовали сегодня, мы все носили бы их прямо сейчас.
Хотя в это может быть трудно поверить, всё это выполнимо.
Полное выступление Абраша смотрите с отметки 1:13 на церемонии открытия OC5:
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Oculus Connect 5: Джон Кармак о будущем Go и Quest
