Вместе с visionOS 27 для простых смертных Apple выпустила новый набор средств разработки для Vision Pro в составе Xcode 27. Наиболее заметные изменения затрагивают RealityKit, отслеживание физических объектов, пространственные аксессуары, работу с 3D-контентом и производство иммерсивного видео.
Apple существенно расширила RealityKit. Виртуальные источники света теперь могут воздействовать на реальные поверхности в реконструированном окружении пользователя. Новый интерфейс Projective Textures позволяет проецировать текстуры через источники света, например имитировать его через витраж или подводные каустики.
RealityKit также получил моделирование ткани в реальном времени для одежды, флагов, штор и других деформируемых объектов. Reverb Mesh API моделирует распространение, поглощение и рассеивание звука с учётом геометрии и материалов помещения. Ещё одно заметное нововведение — нативный рендеринг трёхмерных гауссовых сплэтов для отображения фотореалистичных реконструкций реальных объектов и пространств.
Reality Composer Pro 3 получил функцию Live Preview для мгновенного просмотра изменений на Vision Pro, визуальные средства программирования, улучшенные инструменты анимации и материалов и функции генеративного создания ресурсов.
Система Spatial Preview позволяет приложению на macOS передавать в быстрый просмотр на очках пространственные фотографии, Apple Immersive Video и 3D-сцены непосредственно. USD-сцены можно редактировать на Mac и одновременно наблюдать изменения в пространстве, менять материалы и освещение, работать с расположением объектов и добавлять аннотации. Поддерживается совместная работа через SharePlay.
ARKit даёт более частое обновление положения отслеживаемых физических объектов и расширенный режим обучения эталонных моделей в Create ML. Новый API возвращает положение объекта в метрическом пространстве без коррекции отображения, что рассчитано на задачи с повышенными требованиями к точности, включая измерительные и медицинские.
Отдельным направлением стала разработка активных пространственных аксессуаров. Apple ранее открыла Vision Pro для устройств с инфракрасными светодиодами, инерциальными датчиками, Bluetooth, кнопками, сенсорными панелями и виброоткликом. Очки способны отслеживать такие аксессуары с частотой до 90 Гц. Позднее компания опубликовала подробные аппаратные требования к их конструкции.
Расширилась поддержка сторонних игровых движков. Unity может работать с пространственными аксессуарами, а для Godot Apple выпустила плагины RealityKit и PHASE. Godot также получил поддержку CompositorServices для полноценных иммерсивных приложений. Движки могут обращаться к CompositorServices напрямую.
Для Apple Immersive Video появились дополнительные средства производства. Immersive Media Support позволяет переопределять параметры камер в сложных и прямых трансляциях, предварительно просматривать иммерсивное видео на Vision Pro непосредственно с Mac и использовать собственные этапы композитинга. Приложения также могут показывать AIV в окнах нестандартного широкого формата вместо обязательного соотношения 16:9.
Помимо этих крупных изменений Apple перечисляет новые возможности, исправления, изменения API и известные проблемы в App Intents, Apple Intelligence Report, ARKit, Background Assets, Bluetooth, Compositor Services, Foundation Models, Foveated Streaming, Freeform, Image Playground, Mac Virtual Display, Metal, Network Security, Siri, Spatial Accessories, Spatial Gallery, Spatial Preview, Spatial Web, StoreKit, Swift Charts, SwiftData, SwiftUI, TestFlight, TextKit, UIKit, USDKit, VideoToolbox, WebKit и Xcode. В частности, появились локализованные пакеты Background Assets, новые API StoreKit, коэффициент 1,5× для низколатентного суперразрешения VideoToolbox и интерполяция кадров для произвольных исходных разрешений до 1080p.
Полный перечень изменений и известных ограничений есть в официальном отчёте о релизе.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Виртуальные экраны на Quest получили обновление ввода и улучшения под macOS
