Во вторник, второго марта 2021 года Microsoft провела конференцию «Ignite» — «первое программное мероприятие компании, полностью разработанное для смешанной реальности». Спикеры в виде цифровых аватаров выступали в дополненной реальности (не стоит забывать, что смешанная реальность — скорее, маркетинговый, чем научный термин) при помощи новой платформы «Microsoft Mesh» на базе Azure.
Mesh помогает взаимодействию людей через дополненную реальность; на её основе можно разрабатывать разные приложения, от социальных сетей и образовательных платформ до многопользовательских рабочих пространств. Изначально разработчикам доступны лишь 3D-аватары, как в компьютерной игре. Они двигаются вслед за движениями пользователей и помогают выражать эмоции. Со временем MS обещает добавить «голопортацию», то есть, «фотореалистичное» трёхмерное отображение тела пользователя в реальном времени.
Mesh решает за разработчиков некоторые технические проблемы, такие как стабильность «голограмм» в пространстве, поддержка разных файловых форматов и синхронизация географически распределённых сессий. Вот ключевые компоненты платформы:
Узким местом технологии в среде дополненной реальности является использование дорогих HoloLens, но платформа также работает с очками виртуальной реальности, включая Quest 2, смартфонами, планшетами и персональными компьютерами на Windows и macOS. Microsoft, с одной стороны, подчёркивает востребованные всеми новые возможности общения, но с другой, явно позиционирует Mesh как решение для корпоративных клиентов, возможности которых шире, а запросы лучше окупаются. Эти заказчики смогут позволить себе HoloLens, которые компания контролирует полностью и продаёт самостоятельно.
Ядром платформы является Azure. Благодаря службам идентификации, таким как Azure Active Directory и учётные записи Microsoft, она вводит должным образом аутентифицированных и авторизованных пользователей в безопасный и надёжный сеанс. Microsoft Graph продолжает развиваться вместе с пользователями, позволяя им вносить свои контакты, контент и предпочтения. Как разработчику, вам не нужно беспокоиться об основной инфраструктуре, связанной с выставлением счетов, передачей аудио и видео и базовыми возможностями управления текущим состоянием.
Помимо базовой платформы, компания предлагает ключевые возможности на базе искусственного интеллекта, которые позволяют Mesh решать некоторые из наиболее сложных технических задач, обеспечивая возможность создания массовых многопользовательских онлайн-сценариев для дополненной и виртуальной реальности. К ним относятся иммерсивное присутствие, пространственные карты, голографический рендеринг и многопользовательская синхронизация:
Фундаментальный аспект многопользовательских сценариев — возможность представлять участников в различных формах в зависимости от устройства, с которого они присоединяются к сеансу. Mesh обеспечивает доступное трёхмерное присутствие с репрезентативными аватарами через интегрированные датчики устройств для inside-out-трекинга.
Платформа поставляется с набором моделей и редактором, поэтому можно использовать готовые аватары. Заложенные модели движения на базе искусственного интеллекта помогут улавливать точные движения и выражения лиц, соответствующие действиям пользователя.
Наряду с аватарами и при помощи интегрированных и внешних датчиков Mesh обеспечивает «голопортацию» с 360-градусным видом моделей. Внешние датчики могут быть массивами камер, вроде Mixed Reality Capture Studio, или более доступными устройствами, такими как Azure Kinect. После создания 3D-моделей их можно использовать в приложениях с поддержкой Mesh.
Создание приложений, которые сохраняют голографический контент в реальном мире, требует общего понимания окружения каждого участника сессии. До Mesh каждое устройство имело собственное локальное «представление» о мире. Новинка объединяет и оптимизирует локальные кэши, добавляя их к глобальной карте, чтобы приложение имело более полное представление о месте нахождения людей. Это позволяет закреплять контент, обмениваться точками обзора устройств и совместно работать над 3D-моделями.
Mesh создаёт карту, которая, по словам Microsoft, на несколько порядков точнее, чем GPS, и может работать даже в местах, где доступа к Глобальной системе позиционирования нет. Платформа согласовывает её с макетами и геометрией объектов для точного наложения на них графики.
За оптимизацию потребления ресурсов отвечает другая возможность: выбор между локальным автономным или облачным рендерингом для каждой сцены и модели. Это даёт гибкость в разработке с целью уменьшения задержек и улучшения качества в зависимости от устройства, условий подключения и потребностей. Mesh также поддерживает разные форматы 3D-файлов, решая проблему одновременного использования существующих моделей без конвертирования в многопользовательских сценариях.
Кстати, многопользовательская синхронизация производится с задержкой в пределах 100 миллисекунд, независимо от того, находится ли пользователь в том же физическом пространстве или в другой части света. Всё это дополняется пространственным звуком, который создаёт у людей ощущение пребывания в одном физическом пространстве.
В ближайшие месяцы Mesh предложит разработчикам набор инструментов на базе искусственного интеллекта для аватаров, управления сеансами, пространственного рендеринга, синхронизации между несколькими пользователями и «голопортации».
Кроссплатформенный SDK уже поддерживает Unity наряду с родными C++ и C#, а в ближайшие месяцы сможет работать с Unreal, Babylon и React Native. Инструментарий также предоставит готовые UX-конструкции для упрощения разработки.
На Ignite Microsoft анонсировала два приложения на новой платформе: предварительную версию клиента Mesh на HoloLens для дистанционного взаимодействия и новую версию AltspaceVR с поддержкой Mesh, которая позволит компаниям проводить рабочие собрания в виртуальной реальности с «функциями безопасности корпоративного уровня, включая безопасный вход в систему, управление сеансами и соблюдение конфиденциальности».
Microsoft ожидает появления совместимых приложений от сторонних разработчиков и партнёров, а также проведёт интеграцию с собственными продуктами, такими как Microsoft Teams и Dynamics 365.
Mesh со всеми этими громоздкими очками и смартфонами наперевес, может, и выглядит не так впечатляюще, как настоящие голограммы из фантастических фильмов, но появление такой платформы означает новый шаг во взаимной интеграции реального мира и цифровых данных, который может открыть человеку следующие уровни эффективности и понимания информации как объективной ценности. Коммерческий же успех будет в том случае, если платформа заинтересует массу независимых разработчиков, на приложениях которых сейчас строятся быт и труд миллионов людей.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: IKIN: много шума из голограмм
