Intel часто радует нас инновационными инструментами и технологиями, которые украшают будни самых продвинутых создателей контента. Одним из таких инструментов являются камеры RealSense, использующие инфракрасный свет для вычисления расстояния до объектов в дополнение к съёмке обычных RGB-кадров. В помощь тем, кто хочет разрабатывать приложения, использующие возможности RealSense, Intel представила специальный SDK — библиотеку алгоритмов компьютерного зрения, в том числе для распознавания лиц, сегментации изображений и 3D-сканирования. Потенциал технологии проявляется и в играх, поэтому Intel и Epic Games поспешили выпустить RealSense Plugin для Unreal Engine 4.
Архитектурно плагин — это набор Actor Components, каждый из которых заключает в себе определённые функции RealSense SDK. Используя эти относительно лёгкие компоненты, вы можете добавить трёхмерное распознавание практические к любому объекту в игре, кроме того вы можете использовать эти данные через простое создание экземпляра того же компонента.
В настоящее время плагин затрагивает три компонента RealSense:
- Camera Streams Component — обеспечивает доступ к потоковым данным с цветной камеры и
датчика глубинного зондирования RealSense - Scan 3D Component — поддержка сканирования объектов реального мира и человеческих лиц (на фото выше)
- Head Tracking Component (предварительная версия) — поддержка обнаружения и отслеживания позиции и ориентации головы пользователя
В ближайшее время ожидается добавление следующих функций:
- Head Tracking Component (полный) — дополнительная функциональность для обнаружения и отслеживания до 76 лицевых точек, частоты пульса и мимики
- Background Segmentation Component — отделение переднего плана от заднего для создания эффекта «зелёного экрана» (на фото выше)
- Scene Scanning Component — генерирование трёхмерных больших сцен (приблизительно в области 2×2 метра) для помощи в создании пользовательского контента и дополненной реальности (на фото ниже)
- Hand Tracking Component — скелетное распознавание и отслеживание рук по 22 точкам, распознавание 14 жестов, отслеживание только одной точки для точного взаимодействия в виде управления курсором
- Speech Recognition Component — транскрибирование речи в текст для диктовки и обнаружения ключевых слов для интерфейсов с голосовым управлением
Более подробная информация о плагине и учебные материалы здесь. Исходный код и тестовый проект доступны по этой ссылке.
Далее: Глаза напротив: беседа с Intel о RealSense, разработке и AR/VR-будущем
