Ведомство по патентам и товарным знакам США выдало компании Apple патент на разработку в области синхронизированной интерактивной дополненной реальности. Документ под номером 9,305,402 описывает систему, которая может найти применение в будущих устройствах на iOS, в том числе интегрированных с очками для просмотра AR/VR-контента. Также он затрагивает дополненную реальность в сочетании с трёхмерным видео в бизнесе, здравоохранении, инженерии, образовании и других областях профессиональной деятельности. Соответствующая патентная заявка была подана в 2011 году.
Патент защищает интеллектуальную собственность Apple по разработкам в области наложения аннотаций на картинку с камеры устройства в реальном времени пользователем или автоматически из локальных и сетевых источников данных. Таким устройством может быть смартфон, планшет, игровая консоль, мультимедийный проигрыватель или персональный компьютер. Аннотации могут быть текстовыми, мультимедийными или гипертекстовыми (содержащими отсылки к другим данным) и отображаются как в автоматическом режиме, так и в ответ на фиксируемые компьютером события.
Перед формированием информационного слоя аннотируемые объекты должны быть идентифицированы в реальном времени — автоматически или вручную. Используемые методы идентификации включают контурное распознавание, SIFT, сопоставление шаблонов, градиентные гистограммы, внутриклассовое трансферное обучение, эксплицитные или имплицитные трёхмерные модели объектов, глобальную репрезентацию сцен, затенение, отражающую способность, текстуры, грамматику, тематические модели, оконное обнаружение, трёхмерные знаки, контекст, задействование интернет-данных, бесконтрольное обучение и быструю индексацию. Для составления предварительной выборки данных может использоваться штрих- или QR-код.
Аннотирование также может производиться во время передачи потокового видео между устройствами, когда на экране одного устройства появляются данные, наложенные на картинку пользователем или автоматически с другого гаджета.
По теме: Amazon получила два патента на домашнюю дополненную реальность
Одним из сценариев дополнения реальности, описываемых в документе, является «лупа» — область увеличенного изображения, которую пользователь может перемещать по экрану в реальном времени.
Для трёхмерной съёмки с помощью одной камеры предлагается делать два снимка с разных углов, которые компьютер сшивает и интерпретирует по данным с датчиков положения устройства.
В качестве кейсов для здравоохранения описываются распознавание лиц пациентов и вывод информации о них на экран, диагностирование по внешним признакам (например, цвету кожи), передача потокового видео другим специалистам для консультаций, отображение в реальном времени данных с рентгена или МРТ.
В качестве примера использования дополненной реальности для автомобильной индустрии приводится аннотирование видеосъёмки с двигателем для проведения ремонтных работ, а также распознавание отдельных деталей и выведение выдержек из руководств.
Примерами использования технологии в образовательной сфере называются распознавание текста или изображений в реальном времени для автоматизации проверки тестовых работ учеников, а также для совместной работы с документами, упрощающей взаимодействие специалистов из таких сфер, как юриспруденция или финансы.
Также описывается потенциально очень полезный потребительский кейс. Он заключается в обмене потоковым видео между двумя устройствами, одно из которых распознаёт окружение и передаёт данные о расположении пользователя на второе, которое показывает его как геолокационную метку на снимаемом им потоковом видео. Таким образом предлагается рассказывать знакомым о том, где вы находитесь. Для изменения положения первого устройства на экране второго также используются данные с датчиков положения. Подчёркивается, что такой обмен возможен только с согласия обеих сторон.
Ещё одна интересная находка в патентной заявке подтверждает, что Apple ещё до 2011 года рассматривала возможность использования «гибридных систем позиционирования» — комбинации спутниковых и телевизионных сигналов.
На следующей блок-схеме показан примерный план будущей рабочей сетевой среды для синхронизированной интерактивной дополненной реальности. Обратите внимание на то, что выделенные жёлтым элементы могут стать новыми пользовательскими сервисами компании. И если синхронизация между устройствами через облако уже осуществляется в контексте обмена файлами и данными об их обновлении, в AR-контексте это по-прежнему может рассматриваться как передовое предложение.
Далее: FT: Apple работает над прототипом AR/VR-очков
По материалам Patently Apple
