Статьи

Как разрабатывать для visionOS: все лекции с WWDC 2023

От

16.06.2023

586

Новая операционная система Apple для очков, visionOS, объединяет знакомые принципы и новые концепции, чтобы разработчики могли создавать приложения для трёхмерного, пространственного интерфейса. Самым важным для компании является наполнение App Store в Vision Pro, без этого успех экспансии невозможен. Поэтому она подготовила серию вводных лекций о строительных блоках пространственных вычислений, разработке приложений и игр для этой платформы.

Из этих видео вы узнаете, как эволюционировали знакомые платформы, такие как SwiftUI, UIKit, RealityKit и ARKit, а также о новых возможностях и инструментах экосистемы visionOS. Повторение некоторых ссылок не является ошибкой и связано с пересечением тематик в разделах.

Знакомство с пространственными вычислениями

В этой серии лекций Apple знакомит с основами пространственных вычислений — окнами (Window), объёмами (Volume) и пространствами (Full Space). Вы узнаете, как сможете использовать эти элементы для создания приложений с глубиной, масштабированием и эффектом погружения.

После ознакомления с основами visionOS нужно узнать больше о фреймворках в основе платформы. Познакомьтесь со SwiftUI для visionOS и узнайте, как добавить глубины окнам и объёмам, а также использовать всё пространство. Следом вас ожидает UIKit, который можно использовать вместе со SwiftUI.

SwiftUI и RealityKit

Чтобы глубже погрузиться в SwiftUI и RealityKit, изучите специальную серию лекций по типам сцен SwiftUI, и API Model 3D, а затем узнайте, как добавить глубину и объём приложению и как визуализировать 3D-контент с помощью RealityView. Отдельно лектор затронет ImmersiveSpace, новый тип сцен SwiftUI, который позволяет создавать иммерсивные впечатления для visionOS.

Вторая часть лекций по этой теме раскрывает добавление контента в приложение. Здесь вы сможете начать работу с объектами, компонентами и системами RealityKit и узнаете, как добавить в проект 3D-модели и эффекты, встроить контент в иерархию сущностей, смешать виртуальный контент и реальный мир с помощью пространственных привязок, добавить эффекты частиц, загрузить видео и создать иммерсивный опыт с помощью порталов.

Переоткрываем ARKit

VisionOS использует алгоритмы ARKit для обработки таких функций, как закрепление в пространстве и времени, отображение мира, сегментация, матирование и освещение окружающей среды. Эти алгоритмы активны непрерывно и позволяют приложениям и играм автоматически получать преимущества от ARKit в Общих пространствах (Shared Space). Как только приложение открывает конкретное Полное пространство (Full Space), оно может использовать преимущества API ARKit и смешивать виртуальный контент с реальным миром.

В этих лекциях Apple рассказывает о переосмыслении ARKit, конфиденциальности, интерактивности, отслеживании рук и геометрии сцены.

Дизайн для visionOS

Серия лекций по дизайну открывает новые пространственные принципы, компоненты и типы ввода. Здесь вы узнаете о графической организации пространственного интерфейса, о звуке, возможностях многопользовательского взаимодействия и общения.

Инструменты разработчика visionOS

Apple предлагает набор инструментов, которые помогут создавать приложения и игры для её новой операционной системы. Вы узнаете, как начать работу в Xcode с первым проектом под visionOS, изучите обновления инструментария и процесса тестирования, узнаете, как воспользоваться преимуществами Reality Composer Pro в 3D-разработке и как привлечь к этому Unity.

Встречайте Reality Composer Pro

Перед вами решение для предварительного просмотра и подготовки 3D-контента для приложений в visionOS. Reality Composer Pro использует файловый формат USD при создании, редактировании и предварительном просмотре активов, таких как 3D-модели, материалы и звуки. Apple рассказывает, как использовать инструмент для создания иммерсивного контента, добавления материалов к объектам и воплощения контента в Xcode, а также о последних обновлениях USD.

Работа с Unity

В этой серии лекций вы узнаете, как создавать приложения для visionOS в Unity с нуля и использовать имеющиеся 3D-сцены и ресурсы. Apple говорит о глубокой интеграции с независимым движком, который можно использовать везде, где применим RealityKit, независимо от того, создаете ли вы 3D-контент для окна, объёма или пространства.

TestFlight и App Store Connect

App Store Connect даёт инструменты для управления, тестирования и развёртывания приложений для visionOS в App Store. Лекторы рассказывают об основах этого решения, дают рекомендации по развёртыванию первого приложения, добавлению поддержки visionOS в существующие приложения и управлению совместимостью, а также раскрывают нюансы тестирования в TestFlight.

Исследуйте App Store Connect для пространственных вычислений

Создание игр и мультимедиа

Здесь вы узнаете, как создавать захватывающие моменты в играх и другом иммерсивном опыте. Apple показывает, с чего начать разработку игр и нарративов для visionOS, как эффективно визуализировать 3D-контент с помощью RealityKit, делится особенностями дизайна для иммерсивного вида от первого лица и движения. Вы также узнаете об особенностях работы с Metal и Unity.

Звук может значительно улучшить впечатления от приложений — независимо от того, добавляете ли вы эффекты к нажатиям кнопок или создаёте иммерсивный звуковой ландшафт. Перед вам лекция об особенностях аудиодизайна в visionOS.

Иммерсивный звуковой дизайн

Ещё несколько лекций помогут обновить конвейер обработки видео и создать позитивный опыт воспроизведения видео в visionOS. Речь идёт о расширении конвейера доставки для поддержки 3D-контента, а также методах и деталях пространственной потоковой передачи мультимедиа в приложении.

Разработка многопользовательских приложений

Совместное использование приложений и совместная работа, по словам Apple, составляют наиболее важную часть visionOS. Компания хочет добиться естественного ощущения присутствия людей в одном реально-виртуальном пространстве. По умолчанию пользователи могут делиться любым окном приложения с другими во время звонка в FaceTime, как и на Mac. Но использование фреймворка GroupActivities позволяет создавать совместный опыт нового поколения.

Темами этих лекций являются проектирование многопользовательских приложений, установление общего контекста и использование трёхмерных аватаров.

Веб

Работа с веб-ресурсами в очках отличается от наэкранного опыта. Apple делится секретами оптимизации сайтов и содержимого для пространственной версии браузера Safari. Речь идёт о новых стандартах 3D-интерфейсов для веба, последних обновлениях расширений Safari и функциях разработчика в браузере для прототипирования и тестирования контента на Vision Pro.

Следом компания предлагает углубиться в функцию предпросмотра Quick Look для 3D-контента, трёхмерных изображений и видео и многого другого. В этих лекциях обсуждаются системные методы вывода предпросмотра, операции с контентом, доступ к Quick Look в приложениях и рекомендации по созданию 3D-контента для Quick Look в visionOS, включая аспекты качества и производительности 3D.

Запуск приложений для iPad и iPhone в visionOS

Последняя серия лекций посвящена тому, как запускать уже разработанные приложения для iPadOS и iOS в visionOS. Спикеры рассказывают о зависимостях фреймворков, взаимодействии приложений и оптимизации, включая визуальное улучшение.

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.

Далее: Фреймворк Apple Vision научили скелетному трекингу кошек и собак