Intel и Epic представили плагин RealSense для Unreal Engine

1274

IntelRealSense_Banner-770x250-825128189

Intel часто радует нас инновационными инструментами и технологиями, которые украшают будни самых продвинутых создателей контента. Одним из таких инструментов являются камеры RealSense, использующие инфракрасный свет для вычисления расстояния до объектов в дополнение к съёмке обычных RGB-кадров. В помощь тем, кто хочет разрабатывать приложения, использующие возможности RealSense, Intel представила специальный SDK — библиотеку алгоритмов компьютерного зрения, в том числе для распознавания лиц, сегментации изображений и 3D-сканирования. Потенциал технологии проявляется и в играх, поэтому Intel и Epic Games поспешили выпустить RealSense Plugin для Unreal Engine 4.

INTEL_Figure1-770x265-367295896

Архитектурно плагин — это набор Actor Components, каждый из которых заключает в себе определённые функции RealSense SDK. Используя эти относительно лёгкие компоненты, вы можете добавить трёхмерное распознавание практические к любому объекту в игре, кроме того вы можете использовать эти данные через простое создание экземпляра того же компонента.

INTEL_Figure2-770x268-1544810669

В настоящее время плагин затрагивает три компонента RealSense:

  • Camera Streams Component — обеспечивает доступ к потоковым данным с цветной камеры и
    датчика глубинного зондирования RealSense
  • Scan 3D Component — поддержка сканирования объектов реального мира и человеческих лиц (на фото выше)
  • Head Tracking Component (предварительная версия) — поддержка обнаружения и отслеживания позиции и ориентации головы пользователя

RealSense UE plugin 1

В ближайшее время ожидается добавление следующих функций:

  • Head Tracking Component (полный) — дополнительная функциональность для обнаружения и отслеживания до 76 лицевых точек, частоты пульса и мимики
  • Background Segmentation Component — отделение переднего плана от заднего для создания эффекта «зелёного экрана» (на фото выше)
  • Scene Scanning Component — генерирование трёхмерных больших сцен (приблизительно в области 2×2 метра) для помощи в создании пользовательского контента и дополненной реальности (на фото ниже)
  • Hand Tracking Component — скелетное распознавание и отслеживание рук по 22 точкам, распознавание 14 жестов, отслеживание только одной точки для точного взаимодействия в виде управления курсором
  • Speech Recognition Component — транскрибирование речи в текст для диктовки и обнаружения ключевых слов для интерфейсов с голосовым управлением

RealSense UE plugin

Более подробная информация о плагине и учебные материалы здесь. Исходный код и тестовый проект доступны по этой ссылке.

Далее: Глаза напротив: беседа с Intel о RealSense, разработке и AR/VR-будущем