Система Flare критически снижает затраты при потоковой передаче и обработке сферического видео

3
65

Учёные из Индианского университета в Блумингтоне и Лабораторий AT&T разработали систему потоковой передачи сферического видео на мобильные устройства Flare, которая с помощью прогнозирования движений зрителя экономит трафик и вычислительные ресурсы.

Алгоритм показывает только ту часть видео, которую должен видеть пользователь, обеспечивая доказанные в ходе исследований преимущества. Кадры рассчитываются в сетке 4 на 6. Запрос на сервер содержит координаты, информацию о качестве по количеству кадров и скорость передачи данных.

С помощью бортовых датчиков смартфона система отслеживает движения головы пользователя. Метод линейной регрессии предсказывает траекторию на секунду вперёд, а метод регуляризации Тихонова даёт более дальний прогноз. Затем алгоритм рассчитывает, какая часть информации попадёт в поле зрения, и передаёт необходимые кадры с запасом, который компенсирует возможные ошибки.

Flare реализован из 14 200 строк кода на Android-смартфонах и Linux-серверах. Разработчики тестировали передачу данных через Wi-Fi (около 400 часов) и LTE (около 100 часов в коммерческих сетях шести штатов США) на 130 респондентах. В сетях с ограниченной пропускной способностью, в зависимости от условий, Flare улучшает качество видео в 1,9–18 раз по сравнению со схемами, которые не адаптируются под точку зрения. В реальных сетях LTE решение позволяет одновременно сокращать требуемую пропускную полосу на 26–35% при улучшении качества на 22% с временем простоя, сопоставимым с аналогами без адаптации.

В местах с плохой сотовой связью Flare может улучшить качество в 4,9 раза при сокращении простоя на 22%. Использование нескольких декодеров H.264 уменьшает длительность простоя на 90% по сравнению с использованием одного декодера. Оптимизация на стороне сервера сократила простой на 39%. Уменьшение времени задержки при работе с LTE доходит до 98,7%.

Согласно заключению исследователей, вполне возможно разработать адаптивную систему потоковой передачи видео в сферическом формате на мобильных устройствах, не полагаясь на специализированную инфраструктуру или модификации при кодировании.

Подробности работы опубликованы в статье «Flare: Practical Viewport-Adaptive 360-Degree Video Streaming for Mobile Devices».

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в TelegramВКTwitter и Facebook

Далее: SpaceX будет транслировать лунную миссию в виртуальной реальности