Видео: нейросеть дополняет реальность, узнавая предметы без подготовки

513

Пользователь Twitter Бен Фернс (Ben Ferns), характеризующий себя как свободный техдиректор с интересом к дополненной, виртуальной реальности и WebXR, опубликовал видеозапись работы созданного им (или при его участии) приложения. Оно может распознавать любые видимые камерой смартфона объекты через нейронную сеть и ассоциировать их с виртуальными 3D-моделями. Таким образом получается дополненная реальность без заранее запрограммированного контекста:

Приложение разработано до стадии минимально жизнеспособного продукта (minimum viable product — MVP) с использованием ARCore/ARKit, сервиса хранения 3D-моделей Blocks, движка Unity и свежеопубликованного API сервиса Poly. Последний, кстати, работает с нейросетью для маркировки объектов по эскизам для улучшения поиска, что приводит к необычному сценарию: модель машинного обучения MVP помечает изображение меткой для поиска меток, сгенерированных из изображений моделью машинного обучения Поли. Это объясняет некоторые забавные накладки:

Следующими шагами станут распознавание контекста окружения и пользовательский интерфейс, который соответствующим образом адаптируется для демонстрации того, как ИИ может управлять вниманием в операционной системе дополненной реальности.

Разработчик говорит, что вскоре может опубликовать код проекта для его улучшения силами открытого сообщества. По его словам, сейчас качество кода хромает.

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВКTwitter и Facebook

Далее: Article — демо-проект браузерной дополненной реальности от Google