USPTO опубликовало патентную заявку Apple на очки с интегрированным трекингом

308

Бюро по патентам и товарным знакам США опубликовало патентную заявку Apple на очки виртуальной и смешанной реальности с интегрированной системой трекинга позиции, тела и окружения («Head-Mounted Display For Virtual And Mixed Reality With Inside-Out Positional, User Body And Environment Tracking»).

Устройство из документа содержит пару датчиков RGB и связанные с ними линзы с инфракрасными фильтрами, пару монокамерных датчиков с инфракрасным фильтром ближней области спектра и соответствующими линзами, инерциальный измерительный блок, времяпролётный датчик со связанным ИК-излучателем, проектор облака точек, дисплей и, по меньшей мере, один блок обработки данных, который собирает информацию со всех датчиков.

Apple также отмечает, что пара RGB-камер и пара инфракрасных камер объединены в массивы RGB/IR-камер с оптикой и эти массивы используют формат Байера с рисунком R-G-IR-B вместо стандартного паттерна RGGB.

Другой аспект изобретения затрагивает трекинг, который понимает положение пользователя в пространстве и отслеживает изменения в окружении. Система обнаруживает повороты и изменения масштабов объектов в двухмерном формате, оценивает удалённость каждого объекта с использованием стереоскопического сопоставления, получая облако трёхмерных точек, а также отслеживает эти точки для определения изменений положения головы. Трекинг также может использовать инерциальные измерения для разового вычисления позиции, когда стереоизображения не дают достаточно информации.

Проекция изображения на сетчатку

Трекинг тела пользователя включает его сегментирование на плотной карте глубины, получение сетки из карт глубины и сегментов, получение скелетной модели из сетки тела, распознавание заранее заданных жестов путём отслеживания движений и сопоставления моделей скелета и движений с моделями жестов.

Этапы отслеживания среды включают генерирование модели движения с использованием стереоизображений и позиционного трекинга, обнаружение ключевых точек, извлечение объектов, локальных для ключевых точек, с использованием надёжных дескрипторов и оценку дескрипторов поверхности путем слияния плотной карты глубины с выделенными элементами.

Основой этого изобретения послужили разработки компании Vrvana, которую Apple приобрела в ноябре 2017 года. Патентная заявка подана в третьем квартале 2018 года. Трудно судить, насколько она повлияет на расстановку сил в отраслевом контроле за интеллектуальной собственностью, но разработка затрагивает ряд фундаментальных вещей, обход которых может стать большой проблемой для конкурентов.

Подробности заявки доступны в отдельном документе.

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в TelegramВКTwitter и Facebook

Далее: Facebook рассказала о тестах трекинга в Quest: очкам дополненной реальности до такого далеко