Пользователь Twitter Бен Фернс (Ben Ferns), характеризующий себя как свободный техдиректор с интересом к дополненной, виртуальной реальности и WebXR, опубликовал видеозапись работы созданного им (или при его участии) приложения. Оно может распознавать любые видимые камерой смартфона объекты через нейронную сеть и ассоциировать их с виртуальными 3D-моделями. Таким образом получается дополненная реальность без заранее запрограммированного контекста:
A first experiment in AI-enhanced AR — it can automatically recognize common objects via a neural-net and attempt to clone them in-situ from an online library of 3D models #madewithblocks #madewithunity pic.twitter.com/nhbwRDUiYZ
— Ben Ferns (@ben_ferns) 9 февраля 2018 г.
Приложение разработано до стадии минимально жизнеспособного продукта (minimum viable product — MVP) с использованием ARCore/ARKit, сервиса хранения 3D-моделей Blocks, движка Unity и свежеопубликованного API сервиса Poly. Последний, кстати, работает с нейросетью для маркировки объектов по эскизам для улучшения поиска, что приводит к необычному сценарию: модель машинного обучения MVP помечает изображение меткой для поиска меток, сгенерированных из изображений моделью машинного обучения Поли. Это объясняет некоторые забавные накладки:
This explains some of the more unusual outputs that happen! pic.twitter.com/tRb4wOwveQ
— Ben Ferns (@ben_ferns) 9 февраля 2018 г.
Следующими шагами станут распознавание контекста окружения и пользовательский интерфейс, который соответствующим образом адаптируется для демонстрации того, как ИИ может управлять вниманием в операционной системе дополненной реальности.
Разработчик говорит, что вскоре может опубликовать код проекта для его улучшения силами открытого сообщества. По его словам, сейчас качество кода хромает.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Article — демо-проект браузерной дополненной реальности от Google
