Эту статью для журнала Spectrum Института инженеров по электротехнике и электронике (IEEE) написали Эрик Сайбельман (Eric Sabelman), биоинженер отдела нейрохирургии некоммерческой медицинской организации Kaiser Permanente, где он использует глубокую стимуляцию мозга для лечения болезни Паркинсона, и технологический эксперт Роджер Лэм (Roger Lam). Одним из инструментов в проводимых ими исследованиях влияния новых технологий на человеческое восприятие была дополненная реальность.
В личных экспериментах с Google Glass Сайбельман надеялся, что его косоглазие (а он также и близорук), даст ему преимущество в использовании очков, однако всё оказалось сложнее:
Мой эксперимент, в котором правый глаз смотрит на [дисплей] Glass, а левый прямо, не сработал, потому что я не могу сосредоточиться на дисплее.
Соавтор описываемого в статье исследования Лэм изучает для Kaiser Permanente новые информационные технологии, которые могут встать на стражу человеческого здоровья. По его рассказам, чтобы приступить к своему эксперименту с очками Google, он отправился забирать их на моторной лодке в секретный схрон военного комплекса Аламида Навал и убедился, что выключил дисплей, прежде чем сел обратно в лодку. Разбираясь в технологиях, он относится к ним с небольшим скепсисом.
Вам известно, что ваш телефон может отвлечь, и вы не должны переписываться или сёрфить по Сети во время прогулки по многолюдной улице или за рулём. Дополненная реальность — в виде Google Glass, Sony SmartEyeglass или Microsoft HoloLens — может решить эту проблему. Эти устройства передают контекстную информацию в прозрачном виде или таким образом, что она закрывает собой минимум окружения, казалось бы, позволяя безопасно ориентироваться в реальном мире. Таким же образом дисплеи в шлемах позволяют пилотам быть осведомлёнными о боевой ситуации.
Но в самом ли деле дополненная реальность может быть безопасной? Мы задаём этот вопрос как учёные Kaiser Permanente, исследующие заболевания с затруднённым передвижением и использующие технологии для улучшения обслуживания пациентов, и видим надвигающуюся опасность.
Очки дополненной реальности выходят на рынок, и исследования их влияния на зрение и мобильность только предстоит провести. Однако, при просмотре существующих работ по способам человеческого восприятия окружающего мира и взаимодействия с ним, мы нашли ряд причин для беспокойства. Дополненная реальность может привести к неправильной оценке скорости встречных автомобилей, недооценке времени реакции и непреднамеренному игнорирования опасности в реальном мире. И самое страшное то, что вы не узнаете о своём нахождении в группе риска, пока не появится неприятный прецедент.
Конечно, есть простой способ всё исправить. GPS-приёмники, встроенные в нательные устройства, уже определяют скорость движения (по крайней мере на открытом воздухе); дизайнеры могут использовать это для выведения предупреждающих уведомлений, когда пользователь движется. Также у многих нательных AR-гаджетов есть камеры, и анализ получаемой картинки может активировать безопасный режим в помещении в потенциально опасных ситуациях. Технически, решения просты. Но их нелегко использовать: последнее, чего хочется покупателям нательных устройств, это останавливать поток информации. Весь их смысл в том, чтобы всегда оставаться в деле вне зависимости от деятельности.
Таким образом существует — и будет существовать — опасность, порождённая дополненной реальностью. По крайней мере, когда пользователь находится в движении. Мы обратились к исследованиям, проведённым с участием слабовидящих и других людей, использующих ранние версии нательных AR-устройств, чтобы узнать об угрозах. Мы также обнаружили, что некоторые исследования выявляют потенциал дополненной реальности к помощи людям в преодолении их ограниченных возможностей.
Чтобы понять, как нательная дополненная реальность влияет на восприятие обычного человека, рассмотрим различные природные нарушения зрения. Пресбиопия, дальнозоркость, близорукость — всё это воздействует на нашу способность фокусироваться. Диабет, глаукома и пигментный ретинит могут приводить к туннельному зрению, скрывая объекты в периферическом поле. Возрастная макулярная дегенерация действует наоборот, оставляя ясно воспринимаемыми только объекты на периферии. Плохо спроектированный AR-интерфейс может помешать нам видеть так же, как эти заболевания.
Рассмотрим вначале общую способность фокусировать зрение. Люди с нарушениями фокусировки либо носят корректирующие линзы, либо сталкиваются с проблемами в той или иной степени. Вы когда-нибудь испытывали трудности в прочтении уличного указателя или водили ночью более острожно из-за недостатка освещения?
Нательные устройства, такие как Google Glass, требуют способности быстро смещать фокус с относительно удалённых объектов реального мира на представляемую дисплеем картинку, которая проецируется на сетчатку так, будто находится в двух с половиной метрах от вас. Восприятие объектов с такой дистанции не должно вызывать трудностей у большинства людей с нормальным зрением или корректирующими линзами для обработки без деформации, но научиться комфортно настраивать фокус, чтобы отчётливо видеть AR-дисплей, непросто и похоже на привыкание к бифокальным очкам. И, как и возраст, пресбиопия затрудняет быструю смену фокуса. В тестах Google Glass при участии нескольких сотен людей мы заметили, что примерно от 5% до 10% из них обнаруживали такую усталость глаз, что не могли продолжать. Они боролись за сосредоточенность порядка 20 секунд, а затем отворачивались — это было просто неудобно. Ещё 25% респондентов испытывали трудности, но могли фокусироваться, а большинство справилось с испытанием.
На основании этих экспериментов, которые были довольно неформальны и должны быть повторены в рамках более обширного и строгого исследовани, мы заключили, что заметному меньшинству пользователей Glass, по крайней мере в первое время, будет трудно приспособиться, и в течение этого срока они будут отвлекаться гораздо сильнее и реагировать намного дольше, чем другие пользователи.
Но фокусировка — не единственная проблема. Нательные устройства дополненной реальности перекрывают поле зрения. Потеря центральной обозреваемой области настолько очевидно негативна, что дизайнеры тщательно избегают её блокирования — по крайней мере, когда пользователь смотрит вперёд. Вот почему AR-дисплеи выводят уведомления по краям. Это не позволяет обойти проблему отвлечения — то же самое происходит, когда люди смотрят на телефоны за рулём, — поскольку вы, хотя и кратковременно, но всё же смещаете взгляд в ответ на сигналы.
Разумеется, слишком долгое отвлечение может явиться причиной проблем. Но даже если вам удалось избежать соблазна взглянуть на уведомления, появляющиеся на периферии зрения, и вы ждёте момента, когда перейдёте дорогу и окажетесь на тротуаре, такие вторжения ещё представляют опасность.
Этот вывод можно сделать на основе исследования, проведённого в рамках программы Salisbury Eye Evaluation и опубликованного в 2004 году. Учёные оценили способности 1344 людей в возрасте от 72 до 92 лет к отслеживанию объектов в центре и на периферии дисплея, после чего испытуемые прошли через полосу препятствий, на которой подсчитывалось количество столкновений с предметами с учётом размера полей зрения, баланса и других факторов. При прочих равны за уменьшением очков в зрительном тесте на 10% следовало увеличение количества столкновений на 4%. Это значит, что люди с ограниченной возможностью использовать периферическое зрение более подвержены падениям.
Периферическое зрение важнее, чем вы думаете, потому что оно передаёт весь спектр информации о скорости и расстоянии до объектов. Центральное зрение, несмотря на все предлагаемые им детали, даёт лишь примерную оценку скорости приближающегося или удаляющегося объекта на основе изменения размера или угла параллакса между вашими глазами. А объекты, движущиеся в периферическом поле зрения, стимулируют фоторецепторы от центра сетчатки к краю, обеспечивая гораздо более полную информацию о скорости. Ваш мозг обнаруживает объекты на периферии и оценивает, движетесь ли вы друг относительно друга и как именно. Вмешательство в этот процесс может привести к недооценке относительного движения — это заставит вас оступиться; однажды это может привести даже к тому, что вас собьёт машина.
Это в самом деле иронично. Вы покупаете AR-устройство, чтобы расширить свои возможности, но с большой вероятностью испытываете те же проблемы, что и люди со слабым зрением: уменьшение глубины фокуса, расстояния и скорости восприятия и реакции. Пользователи дополненной реальности могут подвергаться большему риску, чем человек с перманентными проблемами со зрением, потому что не разработал стратегию компенсации утраченного.
Исследование, проведённое в 2008 году Университетом Джона Хопкинса в Балтиморе, привело к точно таким выводам. Учёные взяли две группы субъектов: одних с давним пигментным ретинитом, а других с нормальным зрением, но с временно заблокированной периферией. Каждый испытуемый сначала проходил через виртуальное пространство размером с обычную комнату со статуями по всей площади, а затем делал то же самое, только без статуй. Во второй раз людей просили идти там, где стояли препятствия.
Выяснилось, что люди с естественным малым углом поля зрения лучше оценивали расстояние между собой и запоминаемыми объектами по сравнению с субъектами без нарушений или с незначительными нарушениями зрения. Стремление оставить вокруг себя больше места в сущности является способом компенсации для слабовидящих. Если вы знаете, что можете столкнуться с объектом и беспокоитесь о том, что можете его не заметить, вы, вероятно, раньше замедлитесь и будете идти более осторожно, чем люди, уверенные в своей способности увернуться. Субъекты, поле зрения которых было сужено искусственно, однако, автоматически расстояние не увеличивали, доверяя своим способностям, даже если доверие было неуместным.
Давайте снова вспомним о лётчиках-истребителях. Они должны быть абсолютно сосредоточены на том, что находится перед ними, чтобы иметь возможность точно судить о скорости и расстоянии до окружающих объектов. HUD не влияют на периферическое зрение для помощи в решении этой задачи, потому что представляют информацию в центре поля. Это работает только потому, что информация представлена отдельными линиями и символами.
Новые нательные AR-устройства, такие как Microsoft HoloLens или, согласно слухам, система, разрабатываемая скрытным флоридским стартапом Magic Leap из Дания Бич, по всей видимости, используют центральное поле зрения для отображения объектов, интегрированных в реальном мире, которые по большей части не смещаются в периферию. Но оказывается, что всё это будет подробным, реалистичным, полноцветным, а не просто графикой. И здесь кроется ещё одна проблема.
Дополненная реальность действительно интересна, и дизайнеры будут делать её всё интереснее, со сложной графикой, которая выходит далеко за рамки простых линий и знаков, появляющихся на дисплее в шлеме пилота. Вы, вероятно, всё ещё можете видеть реальный мир сквозь проецируемую картинку. Но наши собственные нейронные сети предпочитают образы людей неодушевлённым объектам — и это работает, даже если люди виртуальны, а объекты реальны. Так что если в реальном мире вы смотрите на нечто, не являющееся человеком, а AR включает людей или даже напоминающие их простые формы, именно она выиграет в борьбе за внимание.
По теме: Глаза напротив: беседа с Intel о RealSense, разработке и AR/VR-будущем
Мы знаем об этом явлении из экспериментов, проводившихся с 1970-х с точечными узорами, схематически напоминающими человеческие фигуры. Исследователи называют их пешеходами из светящихся точек. Эти паттерны размером от 11 до 15 точек показывают, как наше восприятие смещено в сторону распознавания человеческих фигур при минимальных данных. Лишь по дюжине точек мы способны идентифицировать фигуру как идущего человека за 200 миллисекунд, даже если пара шагов занимает у него от 1 до 2 секунд.
Исследования пешеходов показывают, как легко картинке привлечь чьё-то внимание. И вы можете спокойно ставить на то, что контент-провайдеры пытаются создать крадущие внимание приложения. Чем больше в приложении человекоподобных фигур, тем сильнее пользователи будут сосредоточены на них, не обращая внимание на реальность и подвергая себя опасности.
Мы осознаём эффекты от человекоподобных изображений в дополненной реальности. Гораздо меньше нам известно о других, не изображающих человека картинках, с которыми также могут возникнуть проблемы. В Kaiser Permanente мы проводили тестирование виртуальных образов для терапии в области самоконтроля, которая помогает людям преодолевать определённые опасения. Некоторые из этих фобий, такие как боязнь пауков или других живых существ, могут быть активированы картинкой с очень низким разрешением. Дизайнеры коллиматорных индикаторов в авиации не используют для представления данных биологические формы, но разработчики AR-приложения в состоянии сделать это. Таким образом даже при небольшом проценте подверженного фобиям населения софт может получить на удивление отрицательные отзывы.
Хотя всё не так плохо. Работающая должным образом, дополненная реальность может помочь тем, кто уже испытывает трудности в навигации по реальному миру. Это возможно благодаря тому, что устройство, аналогичное Google Glass, содержит датчики (базовые — камера и акселерометр), которые позволяют системе следить за окружением пользователя, движением в реальном времени и генерировать сигналы, обеспечивающие безопасность человека.
Чтобы помочь слепым, учёные Королевского мельбурнского технологического института в Австралии разрабатывают алгоритм ускоренных надёжных функций (speeded-up robust features — SURF), позволяющий AR-устройствам распознавать светофоры и пешеходные знаки и прогнозировать возможные столкновения с движущимися людьми и предметами по видеоданным. На сегодняшний день алгоритм может распознать 90% людей и 80% объектов. Будучи установленным в устройство дополненной реальности с соответствующим звуковым выходом — для навигации без зрения важно не замаскировать реальные звуки, — эта технология может оказаться весьма полезной для слепых пользователей. Даже если этим людям не нужно обеспечиваемое AR-очками визуальное отображение, эти нательные гаджеты по прежнему являются прекрасным выбором для такого применения из-за подходящего форм-фактора, относительно низкой стоимости серийных комплектующих и идеального расположения камеры, смотрящей вперёд.
Нательная дополненная реальность также может помочь пациентам с болезнью Паркинсона, приводящей к тремору и оцепенелости. Эти люди часто имеют озадачивающий симптом, называемый гипокинезией — внезапную неспособность сделать шаг, которая несёт риск серьёзных падений. Гипокинезия наиболее часто проявляется, когда человек хочет развернуться, сменить направление движения, маневрирует в замкнутом пространстве или проходит через дверной проём.
Некоторые пациенты с болезнью Паркинсона, страдающие гипокинезией, могут иметь почти нормальную походку, когда поддерживаются соответствующими визуальными подсказками. В 1990-х ортопед Томас Рисс (Thomas Riess) из Сан-Ансельмо, Калифорния, сам лечащийся от Паркинсона, разработал несколько ранних устройств дополненной реальности для наложения таких подсказок. Он запатентовал закрепляющийся на голове светодиодный массив, который проецирует вращающуюся схему из линий на прозрачный экран перед пациентом. В тестах устройство Рисс смогло положительно повлиять на возможность ходить без ступоров у него и его пациентов.
Гипокинезия — внезапная неспособность сделать следующий шаг — приводит пациентов с болезнью Паркинсона к риску падений. Однако визуальные подсказки могут предотвратить её проявление у некоторых людей. В исследовательском центре Департамента по реабилитации ветеранов в Пало-Альто, Калифорния, учёные использовали датчики движения и светодиоды, подключённые к очкам и соединённые с нательным компьютером, чтобы определить, как дополненная реальность может предотвратить внезапные остановки.
-
Субъект с болезнью Паркинсона спускается с 10-метрового тестового трека. Датчики на очках следят за движениями головы, а на поясе — за движениями тела.
-
Система обнаруживает неудачное движение вперёд в талии в сочетании с наклоном головы — ранним признаком гипокинезии.
-
Это заставляет светодиоды на оправе очков попеременно мигать со скоростью, связанной с тем, как субъект шёл ранее. Этот визуальный ключ помогает человеку быстрее выйти из опасного состояния.
-
Включение светодиодов также может уменьшить риск проявления гипокинезии. Если система обнаруживает гипокинетическое состояние в повороте, светодиоды с внешней стороны поворота мигают быстрее, чем с внутренней, дополняя естественное движение в поле зрения.
В 2002 году в Департаменте по реабилитации ветеранов в Пало-Альто я (Сайбельман) в сотрудничестве с Рисс также провёл тест с целью определить, действительно ли генерируемые компьютером сигналы с нательных устройств могут сократить время пребывания пациентов с болезнью Паркинсона в приступе гипокинезии. В этом эксперименте виртуальные сигналы были предоставлены только по необходимости. Для этого я разместил светодиоды и трёхосные акселерометры в углах оправы, чтобы измерять движения головы и включать мигание, когда компьютер обнаруживал начало приступа. Данный метод использует тот факт, что на ранней стадии проявления гипокинезии пациенты наклоняют голову вперёд, чтобы визуально подтвердить позицию своих ног.
Компьютер использовал угол наклона головы и данные с других датчиков для определения намерения шагнуть, чтобы отмечать его вспышкой для симуляции продолжения движения. Если система определяла, что пациент замер, к примеру, при повороте влево, огни на левой стороне мигали медленнее, чем на правой, потому что когда вы поворачиваете, вы видите более быстрое движение на внешней стороне хода. Если пациент замер, двигаясь вперед, светодиоды поочерёдно мигали в ритме шагов до приступа. В задаче с 10-метровой прогулкой система снижает риск приступа на 30%. Мы уверены в том, что Google Glass и новые симметричные AR-устройства с дисплеями для левого и правого глаз в паре с намного более быстрыми процессорами могли бы делать это куда лучше.
Тем временем исследователи Университета Брунеля в Лондоне разрабатывают системы, которые проецируют перед пациентами линии. В текущем состоянии они неуклюжи и трудноупотребимы, но показывают возможности дополненной реальности в решении этой конкретной проблемы.
Вывод из всех исследований отчётлив. Поскольку AR-оборудование и приложения могут ухудшить зрение пользователей, их разработчики должны выпускать их с осторожностью. Более того, они должны проверить свои продукты на людях всех возрастов и физических способностей, оценить скорость реакции при работающем софте. Они должны отправить нательные устройства на полевые испытания с возможностью наткнуться на препятствие. И они обязаны установить, какой контент можно представить с помощью AR-приложений, чтобы те не оказались опасными.
Производители также должны обучать людей, использующих эти полные опасностей устройства — возможно, с помощью обязательных учебных игр, благодаря которым можно будет изучить угрозы перед выходом в реальный мир. Ведь когда мы возьмём в руки новые гаджеты, мы захотим использовать их в тот же миг, а инструкцию прочтём (если прочтём) потом. Новые пользователи нательных устройств дополненной реальности не должны спешить — возможно, стоит практиковаться дома, в парке или в другой безопасной окружающей среде. Путь, на котором пользователи знают о риске и принимают или не принимают его, выбирается сознательно.
Программное обеспечение для нательных гаджетов дополненной и виртуальной реальности развивается в сторону интеграции инструментов когнитивной оценки, так что любой разработчик по желанию может встроить диагностический аппарат для отслеживания таких вещей, как время реакции и равновесие. С этими инструментами приложения могут благополучно провести пользователя через начальное обучение и познакомить с опасностями.
Само будущее технологии зависит от того, будут ли эти инструменты использоваться для строгого тестирования новых продуктов.
