Тег: нейросети

Meta* представила SceneScript, новый метод трёхмерной реконструкции физического пространства с помощью компьютерного зрения от исследователей из отдела Reality Labs. SceneScript способен строить геометрическую модель окружения с помощью сквозного машинного обучения и определять типы объектов, называя их обычным человеческим языком. В Meta прямо говорят, что проект может стать частью будущих очков дополненной реальности, которые смогут искать объекты и направлять человека графикой или речью. 

Magic Leap выпустила набор для разработчиков иммерсивных приложений с искусственным интеллектом. В нём есть очки Magic Leap 2 и вычислительная система NVIDIA IGX Orin с фирменным SDK, которая позволяет локально ускорять нейросетевые задачи. В пакет также вошла программная платформа для работы с медицинскими ИИ-алгоритмами NVIDIA Holoscan. 

В смарт-очках Ray-Ban Meta появились функции визуального распознавания окружающих объектов на основе искусственного интеллекта. Гаджет может определять достопримечательности и рассказывать о них через динамики, превращаясь в туристический путеводитель. Напомним, что выводить информацию на дисплей очки не могут за неимением дисплея.  

Бывшая команда стартапа CTRL-labs внутри Reality Labs, иммерсивного отдела компании Meta*, опубликовала препринт статьи под названием «Универсальный неинвазивный нейромоторный интерфейс для взаимодействия человека и компьютера». Это отчёт о последних результатах работы над электромиографическим контроллером для очков виртуальной, дополненной и смешанной реальности.

В прошлом году в социальный сервис добавили инструмент Rec Room Studio, который благодаря интеграции с Unity позволяет создавать контент  более высокого качества в редакторе движка. Fractura сделали там, но с повсеместным использованием генеративных инструментов искусственного интеллекта, а не полностью вручную.

В отличие от полного создания ассетов искусственным интеллектом, которое давало случайные узоры на 3D-моделях, теперь ИИ способен учитывать геометрию, включая расположение карманов, пуговиц и швов. Говоря проще, алгоритм может готовить текстуру, адекватную «пошиву». 

Платформа 8th Wall открывает разработчикам инструменты ИИ, такие как DALL·E и Stable Diffusion для превращения текстовых описаний в изображения, Blockade Labs для добавления 360-градусных изображений к небу, Inworld AI для интерактивных персонажей, Hugging Face и ControlNet для добавления текстур к лицам или Move.ai и Wonder Dynamics, чтобы добавить объектам реалистичности в движении.

Devar запускает генеративное нейросетевое решение, которое объединяет ИИ и другие решения для создания контента дополненной реальности, включая MyWebAR. Алгоритмы здесь создают 2D- и 3D-объекты по текстовым описаниям. Лёгкие модели можно сразу применять в иммерсивных проектах даже на недорогих смартфонах, причём как в качестве основного содержимого, так и в качестве маркеров. 

Всего через несколько дней после открытия компанией Apple SDK для visionOS российский разработчик Дмитрий Кудрявцев представил демо-версию соответствующего клиента ChatGPT. Прототип понимает голосовой ввод, пишет тексты, зачитывает их и показывает анимацию при обработке запросов. Ранее Дмитрий появлялся в наших новостях с фотограмметрическим приложением для оцифровки предметов реального мира Metaport.

Monocle представляет собой компьютеризированный аксессуар, который крепится на обычные очки и показывает информацию через единственный волноводный прозрачный дисплей. Компактное устройство может работать до шести часов, а затем его можно зарядить в специальном кейсе, подобно беспроводным наушникам.