Дополненная реальность станет удивительным инструментом творчества, сочетая открытость, многогранность реального мира и бесконечные виртуальные возможности. К примеру, дизайнеры уже давно мечтают о моменте, когда любые комнаты и залы станут холстами для художественного порыва. Исследовательский отдел Microsoft, не устающий радовать нас AR/VR-находками, готовится осуществить эти (и не только) мечты с помощью софта SemanticPaint.
В опубликованном Microsoft Research видео исследователь использует безымянную «потребительскую камеру глубины» для трёхмерного сканирования окружающей среды. После сопоставления реальности и созданной модели он с помощью жестов окрашивает поверхности в разные цвета. Но это только начало: дальше демонстрируется способность системы распознавать предметы, которые похожи на отсканированные. Например, вы можете пометить цветом кресло, а затем дать системе голосовую команду, и она раскрасит все кресла, попадающие в поле зрения камер.
Система компьютерного зрения SemanticPaint проходит лабораторные испытания и работает не идеально — вам вряд ли захочется использовать её для дизайна интерьера в текущем состоянии, и пока для этого больше подходит реальность виртуальная. Однако перспективы трудно переоценить. С прогрессом в области AR-устройств (очков и линз) через каких-нибудь десять лет в моду могут войти виртуальные обои, не говоря о виртуальных дисплеях, окнах или голографических помощниках. Также систему можно применить для автоматических распознавания и классификации объектов.
Согласно отчёту Microsoft, SemanticPaint, в отличие от автономных систем, в которых захват, маркировка и разбивание на группы часто занимают несколько часов или даже дней, этот метод работает онлайн и предоставляет пользователям непрерывную обратную связь в реальном времени при распознавании во время съёмки, что позволяет на лету исправлять ошибки в сегментации и/или обучении.
В исследовании упоминается, что разработки проекта SemanticPaint могут применяться в самых разных направлениях, от робототехники до помощи людям с нарушениями зрения или испытаний новых типов расширенной реальности. Microsoft постоянно экспериментирует с машинным зрением с Kinect, HoloLens, IllumiRoom и другими проектами и вполне способна внедрить технологию в потребительские продукты в ближайшие годы, если увидит в этом коммерческий интерес.
Далее: Глаза напротив: беседа с Intel о RealSense, разработке и AR/VR-будущем
По материалам Microsoft и Upload
