SberDevices выпускает сразу несколько решений для разработки иммерсивных проектов

365

Глава лаборатории дополненной и виртуальной реальности Сбера Максим Козлов сообщил о презентации сразу нескольких разработанных его командой продуктов в иммерсивной области.

MagicLook SDK

Это инструментарий для приложений с примеркой 3D-аксессуаров, масок, а также костюмов в дополненной реальности. Он предназначен для смарт-дисплея «SberPortal». Главными возможностями SDK разработчики называют:

  • решение задач компьютерного зрения — определение лиц, поз и анализ их изменений;
  • рендеринг 3D-моделей — моделирование в реальном времени в формате glb и наложение на координаты на движке filament;
  • реализацию бизнес-логики — смену сцен, добавление объектов на передний план, анимирование объектов на переднем плане в цикле, воспроизведение музыки к сцене.

Кроссплатформенная библиотека для iOS и Android на C++ оценивает трёхмерную геометрию лица и поз в реальном времени на низкопроизводительных мобильных устройствах «с достаточной скоростью кадров для корректной работы онлайн».

Нейронные сети адаптированы под нейропроцессоры, что позволяет быстрее обрабатывать данные с камеры. Дальность детектирования на широкоугольной камере составляет 2–3 метра. Нейронная сеть должна определять лица даже при больших поворотах головы.

Computer Vision API

Это интерфейс подписки на распознавание с помощью смарт-камеры. Он предоставляет информацию о жестах, точках лица и тела, отделяет тела от фона. Его можно использовать при разработке игр и приложений с дополненной реальностью.

API компьютерного зрения Сбера предназначен для так называемых «Native Apps» — Android-приложений с графическим интерфейсом, к которому можно подключить голосовое управление. Это могут быть видеоигры, фитнес-тренировки, приложения для запуска видео и аудио и прочий софт для SberBox и SberPortal.

Напомним, что приложения для устройств SberDevices называют «SmartApp» — здесь Сбер идеологически выделилась среди других экосистем. Native App — это смартап с собственным фронтендом и бэкендом. Фронтенд в Native App — это Android-приложение в формате APK. Его можно подготовить в любой среде разработки для Android, такой как Android Studio или Unity.

Kidsar SDK

Это инструментарий для создания AR-игр с зеркальцем из набора Kidsar для SberPortal.

Библиотека предназначена для решения прикладных задач с компьютерным зрением. Она даёт разработчикам возможность добавлять новую функциональность в свои решения без погружения в алгоритмы.

Библиотека основана на С++, собрана под актуальную прошивку SberPortal и весит 0,5 мегабайт. Есть обёртка под Unity и Unreal Engine.

Visper

Особняком стоит бесплатная бета-версия онлайн-платформы для анимирования виртуальных персонажей «Visper».

В одной версии это сервис для озвучивания текстов анимированными трёхмерными персонажами. Чтобы получить результат, нужно добавить текст или PDF, загрузить фон (фото или видео), разместить персонажа в кадре и добавить жесты.

В версии для разработчиков пользователь предоставляет 3D-модель и аудиофайл, а взамен получает синхронизированные со звуком мимику и артикуляцию. В обойме есть разные голоса и характеры, разные эмоции, такие как флирт, радость и гнев, а также открытый API.

Максим подчеркнул, что лишь часть продуктов, создаваемых его отделом.

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в TelegramВКTwitter и Facebook!

Далее: Сбер выпустил набор детских игр с дополненной реальностью Kidsar для SberPortal