Хотя Apple официально и прямо не подтвердила существование очков дополненной реальности. Но самым явным признаком серьёзного отношения к дополненной реальности, среди миллиона слухов, является прогресс ARKit, инструментария разработки ДР-приложений для iOS, существующий с 2017 года.
Вместе с iOS 16 осенью выйдет ARKit 6. В преддверии потенциального релиза очков особенно интересно узнать, какие возможности подарит обновление самого продвинутого решения для создания софта дополненной реальности на мировом рынке.
Захват движения
ARKit включает функцию Motion Capture, которая отслеживает людей в видеокадре, предоставляя разработчикам скелетную оценку положения головы и конечностей человека. Это позволяет накладывать цифровые объекты на людей или перемещать их относительно людей, в том числе для окклюзии — размещения контента, который перекрывается людьми для более реалистичной интеграции в сцены.
В ARKit 6 функция получит ряд обновлений, в том числе улучшенное отслеживание 2D-скелетов, которые теперь понимают местоположение левого и правого уха. Это полезно для лицевых фильтров, примерки очков, украшений и так далее.
Что касается 3D-скелетов, которые дают оценку позы с глубиной, Apple обещает лучшее отслеживание с меньшим дрожанием, большей временной согласованностью и надёжностью в случаях, когда пользователь закрыт краем камеры или другими объектами. Учтите, что некоторые из этих улучшений доступны только на iPhone 12 и более новых устройствах.
Камера
ARKit 6 даёт более глубокий контроль возможностей камеры при трекинге. Обещают качество уровня 4K HDR.
Разработчики получат доступ к входящим кадрам в реальном времени с разрешением до 4K при частоте 30 кадров в секунду на iPhone 11 и более новых, а также на iPad Pro с M1. Доступным остаётся и предыдущий режим с более низким разрешением и более высокой частотой в 60 кадров в секунду. Режим 4K может быть лучше для приложений, ориентированных на просмотр видео (например, виртуальный продакшн), а режим с более низким разрешением и 60 кадрами может подойти для приложений, которые выигрывают от скорости отклика, таких как игры.
Подобно более высокому разрешению видео в приложениях дополненной реальности, разработчики теперь могут делать фотографии с полным разрешением, даже когда приложение активно использует камеру. Это означает, что они могут извлекать 12-мегапиксельное изображение (по крайней мере, на iPhone 13) для сохранения или использования в другом месте. Это полезно для приложений, в которых частью опыта является фотосъёмка. Например, при съёмке по инструкции для последующего преобразования объектов в кадре в 3D-модели с помощью фотограмметрии.
Разработчики также могут настраивать баланс белого, яркость и фокусировку и считывать данные EXIF из каждого входящего кадра.
Геопространственные привязки
ARKit включает функцию Location Anchors, которые обеспечивают трекинг для навигации по улицам в дополненной реальности. Пока это работает лишь в нескольких городах, но Apple обещает расширить их список на новые, включая Ванкувер, Торонто и Монреаль в Канаде, Фукуоку, Хиросиму, Осаку, Киото, Нагою, Иокогаму и Токио в Японии и Сингапур. Следом появятся Окленд в Новой Зеландии, Тель-Авив в Израиле и Париж во Франции.
Плоские привязки
Plane Anchors — это инструмент для трекинга плоских объектов, таких как столы, полы и стены. До ARKit 6 исходник обновлялся при обнаружении большей части плоскости (например, при перемещении устройства для открытия большей части стола, чем камера видела ранее). Это может затруднить удержание цифровых объектов на плоскости, если исходник был повёрнут после первого размещения. В ARKit 6 вращение исходника остаётся статичным независимо от того, как меняется форма плоскости во время сеанса.
***
Подробности нового инструментария и iOS 6 в целом вы можете узнать из презентации «Откройте для себя ARKit 6» с WWDC 2022.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter!
Далее: Новый API RoomPlan для iOS 16 делает 3D-сканы целых этажей за минуты
