Обновление Magic Leap: AR Cloud, браузер, жесты, динамическое затемнение и доступ к данным с датчиков


Magic Leap объявила о серии программных обновлений второй и пока последней модели своих очков, Magic Leap 2. Новые возможности устройства предназначены корпоративным пользователям и включают облачный многопользовательский доступ к контенту дополненной реальности, собственный браузер, а также улучшения имеющихся функций, которые упрощают разработку, повышают производительность и расширяют применимость продукта.

AR Cloud

Внедрение функции AR Cloud, облачной трансляции иммерсивного содержимого разным пользователям в реальном времени, открывает мультиплеер для приложений дополненной реальности. Это одновременная работа с контентом для дистанционных команд.

Веб-консоль администратора помогает создавать общие пространства, управлять контентом и развёртываниями цифровых двойников и контролировать доступ к устройствам.

Для AR Cloud требуется лицензия Developer Pro Edition или Enterprise Edition и дополнительные серверные компоненты, которые компания вместо публикации предоставит клиентам напрямую.

Подробнее о деплое AR Cloud читайте здесь.

Веб-браузер

На ML2, наконец, появился браузер собственной разработки для доступа к сетевым ресурсам, включая видеоконференции по WebRTC и режим видеотрансляции от первого лица для приложений взаимопомощи. Приложение позволяет обмениваться контентом и мнениями в таких платформах, как Microsoft Teams и Google Meet, а также пользоваться дополненной реальностью в вебе.

Браузер отображает сайты с разрешением 1065×616 — архаично, но лучше, чем ничего. Есть поддержка загрузки файлов, некоторые приложения для Magic Leap 2 можно загрузить и установить именно так.

Портирование приложений из MRTK и Unity

Magic Leap налаживает взаимодействие с комплектом разработки программного обеспечения Microsoft Mixed Reality Toolkit (MRTK) с открытым исходным кодом и с движком Unity, чтобы упростить разработчикам перенос приложений на ML2 и одновременную сборку для разных устройств.

В последний выпуск пакета Magic Leap MRTK 2.8 вошли улучшения примеров, работы с жестами и голосовыми командами.

Magic Leap говорит, что разработчики могут портировать приложения на основе MRTK всего несколькими командами в Unity, и напоминает, что операционная система Magic Leap 2 создана на основе Android Open Source Project (AOSP) и совместима с OpenXR.

Отслеживание рук

Расширение возможностей трекинга рук привело к более интуитивному взаимодействию с цифровым контентом. Пользователям обещают стабильность, уменьшенную задержку и новый жест прикосновения к запястью для вызова главного меню.

В некоторых приложениях в тестовом режиме развернут функцию прямого взаимодействия рук с контентом без контроллеров, как в операционны системах Quest и Vision Pro. Отслеживание рук теперь будет автоматически отключаться при активных контроллерах. А улучшения виртуальной клавиатуры и других элементов ОС облегчат работу без них.

Автоматическое динамическое затемнение

Фирменная технология динамического затемнения Magic Leap получила автоматическую настройку на основе условий освещения. Очки постараются делать контент разборчивым и ярким.

Запись смешанной реальности

Функция Mixed Reality Capture делает 2D-скриншоты и пишет скринкасты, показывая цифровой контент на кадрах с камер. Magic Leap улучшила качество снимков, уменьшила артефакты и добавила новые возможности управления камерой для таких аспектов, как экспозиция, условия яркого освещения, оттенок фона и многое другое.

Запись доступна через adb, Magic Leap Hub и приложение Capture.

Доступ к данным датчиков

Компания также расширяет доступ разработчиков к данным из стека датчиков через API и повышает информационную прозрачность. 

Разработчики смогут получить данные с камеры RGB, камер трекинга в пространстве, датчика глубины, камер отслеживания глаз, IMU, магнитометров, датчика внешней освещённости, альтиметров и микрофонов, чтобы создавать более сложные и полезные алгоритмы и приложения.

Софт с доступом к информации с датчиков должен запрашивать явное согласие пользователя, а запись обязательно сопровождает светодиодный индикатор на корпусе. Подробности — на страницах портала разработчиков для API под C и Unity.

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.

Далее: Метавселенная метавселенных: зачем Somnium Space инвестировала в Sansar