Xreal научила нейросеть на лету делать 3D из 2D прямо на очках


Xreal представила функцию преобразования 2D-содержимого в 3D в реальном времени для своих очков 1S, One и One Pro. Функция Real 3D не требует специальных видеофайлов, приложений, DRM-защиты или внешнего ПО и выполняет конвертацию в реальном времени на устройстве с помощью нейропроцессора X1. Это означает, что и возможности такие есть только у очков с этой микросхемой.

«Поскольку это не зависит от проприетарных проигрывателей или форматов, Real 3D работает с подключёнными настольными компьютерами, консолями, телефонами и другими устройствами», — заявляет компания, отмечая, что конвертация доступна для фильмов, трансляций, локальных файлов и игр.

Мы обучили очень компактную модель, которая обеспечивает баланс производительности и энергопотребления специально для интеграции в чип X1. Хотя преобразование 3D в реальном времени относительно легко выполняется на высокопроизводительных графических процессорах, мы не нашли в отрасли сопоставимых решений, которые могли бы эффективно работать на маломощных платформах, таких как X1.

По данным Xreal, X1 оценивает глубину сцены в каждом кадре и генерирует отдельные изображения для левого и правого глаза. Это приводит к «несколько более высокому энергопотреблению», которое может составлять около 300 мВт. Поэтому пользователям стоит присмотреться не только к визуальному эффекту, но и к заряду небольшого аккумулятора.

Напомним, что Xreal является партнёром Google на рынке очков дополненной реальности и планирует внедрять в свои устройства операционную систему Android XR. Функция потокового преобразования 2D в 3D выглядит как то, что могло бы лечь в основу пользовательского опыта таких устройств. Пока непонятно, встроит ли Google собственную похожую опцию в свою ОС для всех партнёров по оборудованию, позаимствует её у Xreal или оставит задачу поставщикам очков и стороннего ПО.

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.

Далее: Тестовая прошивка Quest получила настольную клавиатуру, голосовое управление и антивирус