В дополнение к иммерсивному программному обеспечению Apple обещает запуск на Vision Pro многих приложений с iPad и iOS без изменений в их коде. Особые вопросы вызывают популярные приложения с видеосвязью, такие как Telegram, Zoom, Google Meet, Messenger и Discord, ведь очки находятся на пользователе и не могут снимать его со стороны. Специально для этого у компании припасена функция Avatar Webcam, имитация веб-камеры с использованием индивидуального трёхмерного аватара.
Вместо изображения с камеры в реальном времени Vision Pro будут отправлять в видеочаты трансляцию с аватаром, который динамически отображает речь и мимику человека. В Apple такой аватар называют персоной (Persona). Подмена не влияет на функциональность приложений; это то же самое, только с цифровым персонажем.
Для создания персоны нужно будет отсканировать своё лицо камерами и лидаром на передней части очков, держа их в руках перед собой. Получаемая 3D-модель анимируется в соответствии с движениями головы, глаз и рук, за которыми очки наблюдают в реальном времени.
Apple подтвердила, что приложения, запрашивающие доступ к основной камере устройства (на задней панели смартфона или планшета), например, для фотосъёмки, в Vision Pro будут получать только чёрные рамки с символом отсутствия камеры. Это предупреждает пользователя о том, что задняя камера недоступна, а также означает, что приложения для iOS и iPadOS будут работать без ошибок, даже если ожидают отклика камеры.
Сохраняется пока не подтверждённая возможность того, что с персонами будут работать фильтры дополненной реальности. Им, в теории, не важно, получают ли они реальное лицо или уже готовый скан. В нынешней концепции софт вообще не понимает разницы.
Представители компании также рассказали, как приложения iOS и iPad ведут себя в Vision Pro как есть, без изменений.
Разработчики могут ожидать от очков данных о двух руках, действия каждой руки воспринимаются отдельно. Работают двухпальцевые жесты, такие как масштабирование. Три пальца и более могут обрабатываться некорректно. Что касается приложений, которым нужна информация о местоположении, очки будут сообщать его по данным от точек Wi-Fi и iPhone.
Софт на ARKit из коробки работать не сможет. Разработчикам нужно специально готовить его с помощью последней версии ARKit и других инструментов.
Приложения для iOS и iPad OS будут доступны в магазине на очках с первого дня их продаж. По словам Apple, «большинство приложений вообще не нуждаются в каких-либо изменениях». Разработчики смогут отказаться от установки своих приложений на Vision Pro.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Фреймворк Apple Vision научили скелетному трекингу кошек и собак
