Учёные из Индианского университета в Блумингтоне и Лабораторий AT&T разработали систему потоковой передачи сферического видео на мобильные устройства Flare, которая с помощью прогнозирования движений зрителя экономит трафик и вычислительные ресурсы.
Алгоритм показывает только ту часть видео, которую должен видеть пользователь, обеспечивая доказанные в ходе исследований преимущества. Кадры рассчитываются в сетке 4 на 6. Запрос на сервер содержит координаты, информацию о качестве по количеству кадров и скорость передачи данных.
С помощью бортовых датчиков смартфона система отслеживает движения головы пользователя. Метод линейной регрессии предсказывает траекторию на секунду вперёд, а метод регуляризации Тихонова даёт более дальний прогноз. Затем алгоритм рассчитывает, какая часть информации попадёт в поле зрения, и передаёт необходимые кадры с запасом, который компенсирует возможные ошибки.
Flare реализован из 14 200 строк кода на Android-смартфонах и Linux-серверах. Разработчики тестировали передачу данных через Wi-Fi (около 400 часов) и LTE (около 100 часов в коммерческих сетях шести штатов США) на 130 респондентах. В сетях с ограниченной пропускной способностью, в зависимости от условий, Flare улучшает качество видео в 1,9–18 раз по сравнению со схемами, которые не адаптируются под точку зрения. В реальных сетях LTE решение позволяет одновременно сокращать требуемую пропускную полосу на 26–35% при улучшении качества на 22% с временем простоя, сопоставимым с аналогами без адаптации.
В местах с плохой сотовой связью Flare может улучшить качество в 4,9 раза при сокращении простоя на 22%. Использование нескольких декодеров H.264 уменьшает длительность простоя на 90% по сравнению с использованием одного декодера. Оптимизация на стороне сервера сократила простой на 39%. Уменьшение времени задержки при работе с LTE доходит до 98,7%.
Согласно заключению исследователей, вполне возможно разработать адаптивную систему потоковой передачи видео в сферическом формате на мобильных устройствах, не полагаясь на специализированную инфраструктуру или модификации при кодировании.
Подробности работы опубликованы в статье «Flare: Practical Viewport-Adaptive 360-Degree Video Streaming for Mobile Devices».
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: SpaceX будет транслировать лунную миссию в виртуальной реальности
