От редакции
Интуитивные способы управления виртуальной и дополненной реальностью без контроллеров уже изобретены: это отслеживание рук и пальцев — самых естественных «контроллеров», данных нам природой. Показательным примером систем трекинга рук являются разработки компании Leap Motion, которая с переменным успехом развивает это направление долгие годы. Тем не менее, у нас нет адекватной тактильной обратной связи, поэтому ожидания от взаимодействия с предметами сильно расходятся с ощущениями.
В новой серии экспериментов команда Leap Motion исследовала возможности применения визуального дизайна для усиления интуитивности ввода без контроллеров. Проведённую работу описали Барретт Фокс (Barrett Fox), ведущий инженер по взаимодействию в виртуальной реальности, и Мартин Шуберт (Martin Schubert), ведущий разработчик виртуальной реальности и евангелист. Барретт и Мартин являются частью элитной команды Leap Motion, представляющей предметную работу с инновационными интерфейсами дополненной и виртуальной реальности.
Когда вы берёте в руки виртуальный объект или касаетесь поверхности, нет ничего, что остановило бы вашу физическую руку в реальном мире. Чтобы физические взаимодействия в ВР были отражали усилия и были естественными, нам придётся переиграть некоторые фундаментальные предположения о том, как должны вести себя цифровые объекты. Обычно действие обрабатывается, если виртуальная рука проникает в геометрию данного объекта/поверхности, что приводит к визуальному обрезанию. Но как перевести взаимодействие на следующий уровень?
Целью нашей команды на мозговых штурмах в Leap Motion является определение областей взаимодействия, с которыми часто сталкиваются разработчики и пользователи, и выявление конкретных проблем проектирования. После прототипирования возможных решений мы делимся результатами, чтобы помочь разработчикам решать аналогичные задачи в своих проектах.
В рамках последнего штурма мы задались таким вопросом: может ли проникновение в виртуальные поверхности ощущаться более согласованным с действиями и создавать более сильное ощущение присутствия? В поисках ответа мы провели эксперименты с тремя подходами к границам между руками и объектами.
Эксперимент №1: Пересечение границы и определение глубины проникновения в меш (набор вершин и многоугольников, определяющих форму трёхмерного объекта — прим. ред.)
В рамках первого эксперимента мы предложили визуальное подтверждение пересечения границы объекта рукой. Погружённая часть руки должна быть видна, но с изменением цвета и постепенным растворением.
Этот вариант оказался очень хорош по всем параметрам. Когда сила и глубина свечения были понижены до минимального уровня, выделение проникновения в объект оказалось эффектом, который можно применять повсеместно без перегрузки.
Эксперимент №2: Градиентное выделение кончиков пальцев при приближении к интерактивным объектам и элементам пользовательского интерфейса
Во втором эксперименте мы решили сделать кончики пальцев меняющими цвет, чтобы они тем более соответствовали поверхности интерактивного объекта, чем ближе к нему находятся. Это может облегчить оценку расстояния между кончиком пальца и поверхностью, что делает менее вероятными промахи и проникновения сквозь поверхность. Кроме того, если мы пройдём насквозь, обрезание границ будет менее резким, так как кончики пальцев и поверхность будут одного цвета.
Этот эксперимент помог нам более точно определять расстояние между кончиками пальцев и интерактивными поверхностями. Кроме того, оказалось легче узнать, к какому объекту мы ближе всего. Объединение результатов первого и второго экспериментов сделало ещё яснее этапы взаимодействия (приближение, контакт, хватание/пересечение).
Эксперимент № 3: Реакция на непредсказуемые захваты
Как вы берёте виртуальный объект? Вы можете взять его в кулак, двумя пальцами или обхватить по бокам. Раньше мы экспериментировали с подразумеваемыми возможностями — например, ручками или рукоятями — надеясь, что это поможет пользователям понять, как взять объекты.
Подобный подход помог многим людям заново открыть для себя возможности ручного управления в виртуальной реальности, но некоторые пользователи просто игнорируют их и зажимают руку в кулак сквозь внешние границы модели. Поэтому мы подумали: что если вместо моделирования статических возможностей мы создадим реакции, которые будут динамически возникать везде, где бы пользователь ни решил коснуться объекта?
Развивая концепцию реакций, мы подумали, что, вместо деформации в ответ на проникновение руки/пальца, объект может прогнозировать приближение руки и вырезать ниши под пальцы до прикосновения.
Чтобы сделать это, мы увеличили длину кончика пальца, чтобы касание был зарегистрирован задолго до того, как поверхности коснётся видимый палец. Используя два разных меша и правило рендеринга, мы создаём иллюзию подвижного дыры в стиле ACME.
Эти эффекты от захвата объекта ощущаются намного намного более согласованными, будто наши пальцы приглашаются пересечь меш. Очевидно, для этого подхода потребуется более сложная система для обработки объектов, отличных от сферы, для прочих частей рук и для объединения дыр ACME, когда пальцы очень близко друг к другу. Тем не менее, концепция возможностей на базе реакции обещает решить проблему непредсказуемого захвата.
Ориентированный на руки дизайн виртуальной реальности — это огромное поле возможностей, от настоящих трёхмерных пользовательских интерфейсов до манипулирования виртуальными объектами для их передвижения и так далее. Как у творцов, у всех нас есть возможность объединить лучшие части знакомых физических метафор с неограниченным потенциалом цифрового мира. В следующий раз мы будем менять законы физики, чтобы магически вызывать объекты на расстоянии!
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!
Далее: Leap Motion закрыла раунд инвестиций на $50 миллионов
