Тег: разработка

Исследователи Meta* показали, как комплексы генеративных нейросетей модели могут создавать трёхмерные сцены из одного изображения. В перспективе это может ускорить прототипирование трёхмерных пространств или их создание в развлекательных целях по одной фотографии, рисунку или кадру, сгенерированному нейросетью по текстовому описанию. 

Учёные из Шанхайского университета Джао Тонг, Университета Южной Калифорнии и компании ByteDance, которая управляет брендом Pico, представили отчёт о проекте нейросетевой модели EnvPoser. Она предполагает более точное, чем сейчас, отслеживание движения человека благодаря использованию видеоряда с камер очков. Даже если они не могут снимать ноги, модель старается определить положение всего аватара через анализ относительной позиции человека в реальном окружении. 

Последняя тестовая сборка операционной системы Horizon OS v76 использует API лежащей в её основе Android для доступа к селфи-камере, давая приложениям виртуальный видеопоток с аватаром. Он может двигать головой, руками и губами, которые в отсутствие специальных камер анимируются по звуку голоса пользователя. Вместе с этим в настройках появилась вкладка селфи-камеры с возможностью замены фона и изменения виртуального поля зрения.

Очки дополненной реальности Snap Spectacles, доступные разработчикам по подписке, получили дополнительные возможности. Их научили обнаруживать телефоны в руках, использовать GPS и компас, а также использовать целый набор других функций. 

XR Core SDK версии 74 предоставил всем разработчикам доступ к цветным сквозным камерам через новый API Passthrough Camera. Помимо основной функции работы с камерами, интерфейс позволяет разработчикам улучшить качество приложений по таким параметрам, как освещение и эффекты, и управлять конвейерами машинного зрения и обучения. 

Последняя версия SDK Quest добавляет микрожесты большим пальцем, а также улучшает качество Audio To Expression, функции преобразования голоса пользователя в лицевую мимику аватара. Вместе с этим появились вспомогательные утилиты для доступа к сквозному видео с камер и метаданным, таким как параметры оптики и положение очков в пространстве, которые можно использовать для запуска моделей компьютерного зрения.

VR Concept обновила свой 3D-движок с поддержкой виртуальной реальности для симуляторов, тренажёров и игр. Апдейт расширил возможности сценариев и работы с Blueprint, импорта моделей и управления ВР-контроллерами. 

Valve в последнем бета-обновлении SteamVR 2.10.1 косвенно проявила намерение выпустить очки смешанной реальности, подключаемые к компьютеру по Wi-Fi. Часть функций компания анонсировала публично, а часть нашли в коде энтузиасты.

Каждый прототип очков дополненной реальности Orion очень дорог — он стоит около $10 000 (₽876 000). Самым дорогим компонентом являются волноводные линзы из карбида кремния. Однако, по словам инженеров проекта, у этого материала большие перспективы удешевления по мере освоения производителями.

Британская компания Ultraleap, образованная слиянием Leap Motion и Ultrahaptics, распродана по частям с увольнением большей части сотрудников, сообщают анонимные источники.