Дополненная виртуальная реальность: Google Lens научили работать в виртуальном окружении

345

Google Lens отлично подходит для тех случаев, когда вы хотите быстро перевести иностранное меню или получить информацию об окружающем мире. Пользователь Twitter под ником Phasedragon разработал способ перенести эти возможности в виртуальную реальность, ещё раз показав схожесть двух медийных сред.

Phasedragon продемонстрировал Lens в ВР на нескольких кусочках корейского текста в локации, напоминающей железнодорожный вокзал. Для этого энтузиаст «просто собрал несколько приложений» и попробовал, какие из них работают. Учитывая, что он использует полный набор инструментов Google Lens, возможностей может быть куда больше показанного.

Phasedragon, также известный тем, что рассказывал о VRChat на своём канале в YouTube, говорит, что сначала пытался переводить через Microsoft Translate, но пришел к выводу, что версия MS «просто не так хороша, как Google Translate».

В инструментарии блогера было приложение Sparkocam для съёмки рабочего стола и экспорта потока под видом данных от виртуальной веб-камеры. Затем он использовал Android Studio Emulator для запуска Google Lens и OVR toolkit для его отображения в виртуальной реальности.

Мысль о возможности перенести дополненную реальность в виртуальную по меньшей мере интересна. Это открывает доселе неизведанную ветвь разработки приложений компьютерного зрения для универсального распознавания человекоориентированных визуальных иммерсивных сред, то есть приложения для распознавания текстов, координат и объектов в любой виртуальной реальности.

На наших глазах зарождается практика в новой области для смеси машинного обучения, компьютерного зрения и универсализации кода, ведь некоторые данные, вроде координат, можно брать и из кода приложений. Это дополненная виртуальная реальность.

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в TelegramВКTwitter и Facebook

Далее: Переводчик дополненной реальности Google получает большое обновление