Бюро по патентам и товарным знакам США опубликовало патентную заявку Apple на очки виртуальной и смешанной реальности с интегрированной системой трекинга позиции, тела и окружения («Head-Mounted Display For Virtual And Mixed Reality With Inside-Out Positional, User Body And Environment Tracking»).
Устройство из документа содержит пару датчиков RGB и связанные с ними линзы с инфракрасными фильтрами, пару монокамерных датчиков с инфракрасным фильтром ближней области спектра и соответствующими линзами, инерциальный измерительный блок, времяпролётный датчик со связанным ИК-излучателем, проектор облака точек, дисплей и, по меньшей мере, один блок обработки данных, который собирает информацию со всех датчиков.
Apple также отмечает, что пара RGB-камер и пара инфракрасных камер объединены в массивы RGB/IR-камер с оптикой и эти массивы используют формат Байера с рисунком R-G-IR-B вместо стандартного паттерна RGGB.
Другой аспект изобретения затрагивает трекинг, который понимает положение пользователя в пространстве и отслеживает изменения в окружении. Система обнаруживает повороты и изменения масштабов объектов в двухмерном формате, оценивает удалённость каждого объекта с использованием стереоскопического сопоставления, получая облако трёхмерных точек, а также отслеживает эти точки для определения изменений положения головы. Трекинг также может использовать инерциальные измерения для разового вычисления позиции, когда стереоизображения не дают достаточно информации.
- Проекция изображения на сетчатку
Трекинг тела пользователя включает его сегментирование на плотной карте глубины, получение сетки из карт глубины и сегментов, получение скелетной модели из сетки тела, распознавание заранее заданных жестов путём отслеживания движений и сопоставления моделей скелета и движений с моделями жестов.
Этапы отслеживания среды включают генерирование модели движения с использованием стереоизображений и позиционного трекинга, обнаружение ключевых точек, извлечение объектов, локальных для ключевых точек, с использованием надёжных дескрипторов и оценку дескрипторов поверхности путем слияния плотной карты глубины с выделенными элементами.
Основой этого изобретения послужили разработки компании Vrvana, которую Apple приобрела в ноябре 2017 года. Патентная заявка подана в третьем квартале 2018 года. Трудно судить, насколько она повлияет на расстановку сил в отраслевом контроле за интеллектуальной собственностью, но разработка затрагивает ряд фундаментальных вещей, обход которых может стать большой проблемой для конкурентов.
Подробности заявки доступны в отдельном документе.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Facebook рассказала о тестах трекинга в Quest: очкам дополненной реальности до такого далеко
