Глава лаборатории дополненной и виртуальной реальности Сбера Максим Козлов сообщил о презентации сразу нескольких разработанных его командой продуктов в иммерсивной области.
MagicLook SDK
Это инструментарий для приложений с примеркой 3D-аксессуаров, масок, а также костюмов в дополненной реальности. Он предназначен для смарт-дисплея «SberPortal». Главными возможностями SDK разработчики называют:
- решение задач компьютерного зрения — определение лиц, поз и анализ их изменений;
- рендеринг 3D-моделей — моделирование в реальном времени в формате glb и наложение на координаты на движке filament;
- реализацию бизнес-логики — смену сцен, добавление объектов на передний план, анимирование объектов на переднем плане в цикле, воспроизведение музыки к сцене.
Кроссплатформенная библиотека для iOS и Android на C++ оценивает трёхмерную геометрию лица и поз в реальном времени на низкопроизводительных мобильных устройствах «с достаточной скоростью кадров для корректной работы онлайн».
Нейронные сети адаптированы под нейропроцессоры, что позволяет быстрее обрабатывать данные с камеры. Дальность детектирования на широкоугольной камере составляет 2–3 метра. Нейронная сеть должна определять лица даже при больших поворотах головы.
Computer Vision API
Это интерфейс подписки на распознавание с помощью смарт-камеры. Он предоставляет информацию о жестах, точках лица и тела, отделяет тела от фона. Его можно использовать при разработке игр и приложений с дополненной реальностью.
API компьютерного зрения Сбера предназначен для так называемых «Native Apps» — Android-приложений с графическим интерфейсом, к которому можно подключить голосовое управление. Это могут быть видеоигры, фитнес-тренировки, приложения для запуска видео и аудио и прочий софт для SberBox и SberPortal.
Напомним, что приложения для устройств SberDevices называют «SmartApp» — здесь Сбер идеологически выделилась среди других экосистем. Native App — это смартап с собственным фронтендом и бэкендом. Фронтенд в Native App — это Android-приложение в формате APK. Его можно подготовить в любой среде разработки для Android, такой как Android Studio или Unity.
Kidsar SDK
Это инструментарий для создания AR-игр с зеркальцем из набора Kidsar для SberPortal.
Библиотека предназначена для решения прикладных задач с компьютерным зрением. Она даёт разработчикам возможность добавлять новую функциональность в свои решения без погружения в алгоритмы.
Библиотека основана на С++, собрана под актуальную прошивку SberPortal и весит 0,5 мегабайт. Есть обёртка под Unity и Unreal Engine.
Visper
Особняком стоит бесплатная бета-версия онлайн-платформы для анимирования виртуальных персонажей «Visper».
В одной версии это сервис для озвучивания текстов анимированными трёхмерными персонажами. Чтобы получить результат, нужно добавить текст или PDF, загрузить фон (фото или видео), разместить персонажа в кадре и добавить жесты.
В версии для разработчиков пользователь предоставляет 3D-модель и аудиофайл, а взамен получает синхронизированные со звуком мимику и артикуляцию. В обойме есть разные голоса и характеры, разные эмоции, такие как флирт, радость и гнев, а также открытый API.
Максим подчеркнул, что лишь часть продуктов, создаваемых его отделом.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Сбер выпустил набор детских игр с дополненной реальностью Kidsar для SberPortal
