AR Cut & Paste: вырезать из реальности и вставить в Photoshop

2402

Дополненная реальность, в привычном смысле — дополнение реальной реальности цифровыми объектами. Но это работает и в обратном направлении. Например, французский исследователь и дизайнер Сирил Данье (Cyril Diagne) представил прототип программного обеспечения, с помощью которого можно быстро оцифровать реальный объект, вырезав его из окружения на фото, и вставить в Photoshop.

Прототип не предназначен для широкого использования и пока служит лишь в качестве основы научной работы, но ознакомиться с результатами может любой желающий: они в открытом доступе на GitHub.

Проект AR Cut & Paste позволяет вырезать элементы из картинки в видоискателе камеры смартфона и вставлять их, потенциально, в любое программное обеспечение для редактирования изображений. Основой послужила технология обнаружения границ объектов BASNet. В определении места вставки на экране компьютера помог алгоритм OpenCV SIFT.

Прототип состоит из трёх модулей:

  • Мобильное приложение
  • Локальный сервер — интерфейс между приложением и Photoshop, который находит указанные на экране точки в реальности через Python-библиотеку Screenpoint
  • Сервис обнаружения объектов и удаления фона

На текущей стадии задержки составляют около 2,5 секунд для копирования и вырезания и около 4 секунд для вставки. Разработчик уверен, что в дальнейшем процесс легко ускорить. Он приглашает всех к обсуждению технологии.

К слову, один из комментариев с предложением диалога об ИИ и интерфейсах оставил Мэттью Руи (Matthieu Rouif), основатель проекта мобильного приложения Photoroom, которое позволяет вырезать объекты из фото и накладывать на фоны в собственном редакторе. Решение Данье потенциально может открыть Photoroom и похожему софту серьёзную конкуренцию, особенно в виде открытого кода.

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в TelegramВКTwitter и Facebook!  

Далее: IKEA заменит вашу мебель на новую с помощью технологии Geomagical Labs