Исследователи Калифорнийского университета в Санта-Барбаре сравнили визуальные, звуковые и тактильные подсказки при поиске объектов в виртуальной реальности с крайне ограниченным изображением, имитирующим работу зрительного нейропротеза. В эксперименте звуковая и вибрационная навигация обеспечила примерно на 25% более быстрый поиск, чем визуальные указатели. Работа показывает, что при сильной нехватке визуальной информации часть навигационных подсказок эффективнее переносить на другие чувственные ощущения.
Зрительные нейропротезы пытаются частично восстановить зрение за счёт электрической стимуляции нервных клеток. Вместо обычного изображения пользователь таких систем воспринимает ограниченный набор световых пятен и полос — фосфенов. Низкое пространственное разрешение и небольшое поле зрения заставляют человека активно поворачивать голову, чтобы обнаружить нужный объект. Добавление визуальных стрелок и других указателей дополнительно занимает и без того дефицитный визуальный канал.
В исследовании приняли участие 19 человек с нормальным или скорректированным до нормы зрением. Эксперимент проходил в очках HTC Vive Pro Eye, а восприятие через зрительный имплант моделировали с помощью системы BionicVisionXR и биологически обоснованной модели распространения фосфенов. Исследователи использовали две виртуальные матрицы электродов — 10×10 и 20×20 — с одинаковым полем зрения 30×30°. Более грубая конфигурация содержала в четыре раза меньше электродов.
Участники сидели на вращающемся кресле и искали 14 знакомых бытовых предметов, расположенных вокруг них в секторе поля зрения примерно 200°. Иногда рядом с целью находились четыре отвлекающих объекта. Каждый доброволец прошёл 160 испытаний в четырёх режимах: без помощи, с визуальными, звуковыми или вибрационными подсказками. Все три типа подсказок сообщали только горизонтальное направление на цель, поэтому высоту расположения предмета и его идентичность участникам всё равно приходилось определять по изображению. Всего исследователи проанализировали 3040 испытаний.
Все три способа навигации ускорили поиск по сравнению с отсутствием подсказок. При матрице 20×20 визуальные указатели сократили время поиска на 24%, вибрация — на 45%, а звук — на 42%. В режиме 10×10 сокращение составило соответственно 35%, 50% и 52%. Если объединить результаты звукового и тактильного способов, поиск оказался примерно на четверть быстрее, чем при использовании визуальной навигации.
Исследователи отдельно разделили задачу на два этапа: первоначальный поворот в сторону объекта и дальнейший поиск после его попадания в поле зрения. Звуковые и тактильные подсказки позволяли вывести цель в поле зрения на 12,7% быстрее визуальных в режиме 20×20 и на 11,3% — в режиме 10×10. При этом все три способа примерно одинаково сокращали лишние движения головы. Это указывает на то, что преимущество невизуальных сигналов было связано не столько с более прямой траекторией движения, сколько с тем, насколько быстро человеку удавалось понять и использовать подсказку.
После попадания объекта в поле зрения звук и вибрация продолжали заметно помогать участникам, тогда как эффект визуальной подсказки был менее устойчивым. Авторы предполагают, что визуальный сигнал мог конкурировать с изображением самого объекта за ограниченное количество доступной зрительной информации. При этом исследователи специально подчёркивают, что эксперимент не доказывает общего превосходства слуха или осязания над зрением: сравнивались конкретные реализации подсказок, различавшиеся по способу представления сигнала.
Неожиданный эффект проявился при наиболее грубой симуляции 10×10. Хотя все подсказки передавали только горизонтальное направление, визуальная, тактильная и звуковая навигация снизила ошибку определения высоты цели примерно на 45%, 55% и 58% соответственно. Авторы предполагают, что, избавившись от необходимости искать правильное направление по горизонтали, участники могли использовать ограниченные зрительные ресурсы для вертикального поиска.
Результаты имеют значение не только для нейропротезирования. Авторы рассматривают их как ориентир для интерфейсов виртуальной и дополненной реальности с сильно ограниченным или перегруженным визуальным каналом. В таких условиях для навигации может оказаться полезнее минимальная звуковая или тактильная подсказка, чем добавление ещё одного визуального элемента в поле зрения. Кроме того, система может менять характер помощи по ходу задачи: активно указывать направление, пока объект находится вне поля зрения, а после его обнаружения ослаблять или изменять сигнал.
Однако работа остаётся лабораторным экспериментом. Все 19 участников были зрячими и использовали симуляцию нейропротеза лишь в течение короткой сессии. Такая модель не воспроизводит слепоту, многолетнюю адаптацию к импланту и индивидуальные особенности фосфенов реальных пользователей. Эксперимент также предполагал неподвижные цели, заранее известное системе их положение, работу сидя и отсутствие передвижения по пространству. Авторы считают необходимой дальнейшую проверку с реальными пользователями зрительных протезов и в более сложных условиях.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Телеграме, Максе, ВК и X! Поддержите проект на Бусти.
Далее: Valve обновила требования к разрешению и частоте игр для Steam Frame
