В мае Facebook переименовала исследовательское подразделение Oculus Research в Facebook Reality Labs. Смена власти не сломила дух инженеров. Сегодня лаборатория сделала первый анонс, представив технологию зеркальной реконструкции.
При создании реалистической сцены одними из самых сложных элементов являются зеркала и стеклянные панели, которые не только отражают сцену, но и рассеивают по ней свет, оказывая серьёзное влияние на реалистичность. Facebook Reality Labs создала новый полностью автоматизированный метод создания отражающих поверхностей, которые обещает в подробностях обсудить с гостями конференции SIGGRAPH 2018.
Если вы зайдёте в секцию зеркал в магазине домашнего декора и посмотрите вокруг, вы тут же увидите широкий диапазон форм и размеров — там почти нет двух одинаковых зеркал! — говорит научный сотрудник Томас Вилан (Thomas Whelan). — Нам очень быстро стало ясно, что нужно общее решение, которое не делает слишком много предположений о том, что было реконструировано. Мы действительно хотели найти решение, которое просто работает в реальных средах, потому что именно там это наиболее полезно.
В начале огромное разнообразие типов и форм зеркал ошеломляло, — пишет научный сотрудник Джулиан Страуб (Julian Straub). — Главной целью была разработка системы, которая могла бы обрабатывать большинство или все формы и размеры зеркал. Затем мы поняли, что система также будет работать со стеклянными поверхностями с небольшим дополнительным этапом классификации.
Исследователи узнали, что, идентифицируя зеркальные поверхности, они могут повторно отрисовать сцену с правильной геометрией и отражениями. Это привело к созданию специальной многокамерной установки, которая включала инфракрасную камеру определения глубины, цветную камеру RGB, две камеры SLAM, инфракрасный проектор и специальную мишень, которую система могла идентифицировать. Это позволило «понимать» границу зеркала даже без рамки.
Изучение построения зеркальных поверхностей и отражений, надеются в Facebook, позволит более точно фиксировать трёхмерные репрезентации пространства в таких областях, как робототехника и распознавание сцены. Подход можно расширить с целью создания более реалистичных и прогностических виртуальных сцен с отражениями более сложной геометрии, непланарными стеклянными поверхностями или полупрозрачными материалами.
Подробности работы вы найдёте в блоге Oculus и услышите на SIGGRAPH 2018, которая будет проходить в Ванкувере с 12 по 16 августа.
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Oculus представила MBFR, новый тип фовеального рендеринга
