За пять месяцев до выпуска Quest Pro Марк Цукерберг сказал, что в них будет инфракрасный лазерный сенсор, похожий на Apple TrueDepth, для эффективного определения дистанции до объектов. Похожая технология работает и в HoloLens 2, поэтому для рынка очков не нова. Но в итоге Quest Pro обходятся без этого датчика, а дополненная реальность в них из-за этого потеряла в точности. У разрабочиков и пользователей тем временем формируются потребности, которые придётся удовлетворить.
В новой записи в блоге Meta* рассказала об объединении решений для смешанной реальности под брендом Meta Reality, а также уточнила, что её цель состоит в предоставлении автоматизированной версии распознавания сцены (функция Scene Capture), которая не требует, чтобы люди вручную картографировали пространство.
Достижение этого без специальных датчиков глубины демонстрируют в исследовательских работах и некоторых приложениях для смартфонов с помощью передовых методов компьютерного зрения. Часто такие системы связаны с расчётами на мощных графических картах, а их мобильные версии отнимают столько ресурсов смартфонных чипов, что не оставляют ничего для рендеринга и других задач. Софту для широкого распространения, при этом, требуется обратная совместимость с процессорами, которые не являлись флагманами даже в позапрошлом году. То же самое с очками.
Интеграция датчиков глубины ведёт к значительному удорожанию устройств, поэтому пока Meta стремится достичь этого с помощью программного обеспечения, пойдя на компромисс. А в будущих продуктах не исключает применения нового оборудования. Это значит, что ближайшую пару лет разработчикам ПО для Quest можно остановиться на камерах, не теряя из виду лазерные ИК-датчики.
Вам нужны цветной Passthrough, Scene Understanding, Spatial Anchors и Shared Spatial Anchors, а также информация об окклюзии и коллизии в реальном времени, обнаружении объектов и освещении — всё это в одном пакете, чтобы обеспечить реалистичные и осмысленные впечатления от смешанной реальности. И всё это должно сочетаться с такими ограничениями, как цена производительности, вычислительные мощности и тепловые характеристики. Но прежде всего ключевым фактором является обеспечение комфортного опыта.
Как и в большинстве случаев в технологиях, здесь есть компромиссы. Хотя наше текущее решение не идеально, оно сохраняет вычислительные ресурсы при максимальном комфорте пользователя, и благодаря этому мы можем обеспечить большую глубину и обширность инструментов разработки.
Согласны вы с максимальным комфортом без выделенных датчиков глубины или нет, они могут появиться в новых продуктах в течение нескольких лет. Компанию им должны составить дисплеи высокой плотности и оптические системы высокого разрешения, о которых Meta тоже рассказала в блоге. Она разрабатывает их с целью достижения так называемого ретинального разрешения, при котором глаз не может уловить отдельные пиксели.
В статье представитель компании делает нужную ремарку о том, что адекватной мерой разрешения очков является угловое разрешение или количество пикселей на градус. Оно описывает, сколько пикселей вы фактически видите в каждом градусе вашего зрения, тогда как обычное разрешение дисплеев здесь не учитывает особенности оптической системы с полем зрения. Если два устройства используют одни и те же дисплеи, но у одного обзор вдвое шире, количество пикселей на градус уменьшится тоже в два раза.
Ретинальным разрешением в Meta считают всё, что выше 60 пикселей на градус. Ни одни потребительские очки сегодня не приблизились к этому. Quest Pro достигли 22 пикселей на градус, Varjo Aero за $2000 подошли к 35, а бизнес-гаджеты Varjo за $5500 даже вышли за искомую границу, но лишь в крошечной области в центре поля зрения благодаря дополнительному микродисплею. За его пределами всё вполне обычно.
В июне Meta показала исследовательский прототип с 55 пикселями на градус под названием Butterscotch. Но у него очень узкое поле зрения, он тяжёлый и громоздкий. Заявленная цель его создания в том, чтобы продемонстрировать и изучить ощущения от ретинального дисплея.
В прошлом месяце нам стало известно, что руководители Meta провели частные встречи с дисплейными подразделениями Samsung и LG по поводу поставок микродисплеев OLED и MicroLED для будущих устройств виртуальной и дополненной реальности. Возможно, эти встречи в итоге лягут в основу нового продукта. Если к нему подоспеет следующее поколение распознавания объектов и расстояния, это может стать прорывом для рынка. Осталось убедиться, что у Meta хватит денег закончить начатое.
*В РФ признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: HoloLens 3 готовятся, но выйдут не скоро, потому что не нужны клиентам Microsoft
