Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

0
555

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

От редакции

Интуитивные способы управления виртуальной и дополненной реальностью без контроллеров уже изобретены: это отслеживание рук и пальцев — самых естественных «контроллеров», данных нам природой. Показательным примером систем трекинга рук являются разработки компании Leap Motion, которая с переменным успехом развивает это направление долгие годы. Тем не менее, у нас нет адекватной тактильной обратной связи, поэтому ожидания от взаимодействия с предметами сильно расходятся с ощущениями.

В новой серии экспериментов команда Leap Motion исследовала возможности применения визуального дизайна для усиления интуитивности ввода без контроллеров. Проведённую работу описали Барретт Фокс (Barrett Fox), ведущий инженер по взаимодействию в виртуальной реальности, и Мартин Шуберт (Martin Schubert), ведущий разработчик виртуальной реальности и евангелист. Барретт и Мартин являются частью элитной команды Leap Motion, представляющей предметную работу с инновационными интерфейсами дополненной и виртуальной реальности.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным
Барретт Фокс и Мартин Шуберт

Когда вы берёте в руки виртуальный объект или касаетесь поверхности, нет ничего, что остановило бы вашу физическую руку в реальном мире. Чтобы физические взаимодействия в ВР были отражали усилия и были естественными, нам придётся переиграть некоторые фундаментальные предположения о том, как должны вести себя цифровые объекты. Обычно действие обрабатывается, если виртуальная рука проникает в геометрию данного объекта/поверхности, что приводит к визуальному обрезанию. Но как перевести взаимодействие на следующий уровень?

Целью нашей команды на мозговых штурмах в Leap Motion является определение областей взаимодействия, с которыми часто сталкиваются разработчики и пользователи, и выявление конкретных проблем проектирования. После прототипирования возможных решений мы делимся результатами, чтобы помочь разработчикам решать аналогичные задачи в своих проектах.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

В рамках последнего штурма мы задались таким вопросом: может ли проникновение в виртуальные поверхности ощущаться более согласованным с действиями и создавать более сильное ощущение присутствия? В поисках ответа мы провели эксперименты с тремя подходами к границам между руками и объектами.

Эксперимент №1: Пересечение границы и определение глубины проникновения в меш (набор вершин и многоугольников, определяющих форму трёхмерного объекта — прим. ред.)

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

В рамках первого эксперимента мы предложили визуальное подтверждение пересечения границы объекта рукой. Погружённая часть руки должна быть видна, но с изменением цвета и постепенным растворением.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

Этот вариант оказался очень хорош по всем параметрам. Когда сила и глубина свечения были понижены до минимального уровня, выделение проникновения в объект оказалось эффектом, который можно применять повсеместно без перегрузки.

Эксперимент №2: Градиентное выделение кончиков пальцев при приближении к интерактивным объектам и элементам пользовательского интерфейса

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

Во втором эксперименте мы решили сделать кончики пальцев меняющими цвет, чтобы они тем более соответствовали поверхности интерактивного объекта, чем ближе к нему находятся. Это может облегчить оценку расстояния между кончиком пальца и поверхностью, что делает менее вероятными промахи и проникновения сквозь поверхность. Кроме того, если мы пройдём насквозь, обрезание границ будет менее резким, так как кончики пальцев и поверхность будут одного цвета.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

Этот эксперимент помог нам более точно определять расстояние между кончиками пальцев и интерактивными поверхностями. Кроме того, оказалось легче узнать, к какому объекту мы ближе всего. Объединение результатов первого и второго экспериментов сделало ещё яснее этапы взаимодействия (приближение, контакт, хватание/пересечение).

Эксперимент № 3: Реакция на непредсказуемые захваты

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

Как вы берёте виртуальный объект? Вы можете взять его в кулак, двумя пальцами или обхватить по бокам. Раньше мы экспериментировали с подразумеваемыми возможностями — например, ручками или рукоятями — надеясь, что это поможет пользователям понять, как взять объекты.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным
В игре «Weightless: Training Room» снаряды для тренировки имеют углубления, которые обеспечивают визуально понятное взаимодействие. Они также позволяют ориентировать объекты для броска.

Подобный подход помог многим людям заново открыть для себя возможности ручного управления в виртуальной реальности, но некоторые пользователи просто игнорируют их и зажимают руку в кулак сквозь внешние границы модели. Поэтому мы подумали: что если вместо моделирования статических возможностей мы создадим реакции, которые будут динамически возникать везде, где бы пользователь ни решил коснуться объекта?

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным
Три рейкаста (луча) на палец, два — для большого пальца. Они проверяют касания сферы.
Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным
Впадина следует за пальцем везде, где он проникает в сферу.
Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным
В одной из вариаций этой концепции мы попытались добавить градиентную закраску пальца. На этот раз вместо того, чтобы меняться в зависимости от близости пальца к объекту, градиент управлялся погружением пальца в объект.

Развивая концепцию реакций, мы подумали, что, вместо деформации в ответ на проникновение руки/пальца, объект может прогнозировать приближение руки и вырезать ниши под пальцы до прикосновения.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным
В принципе, мы хотели создать виртуальные дыры ACME (как в мультиках — прим. ред.).

Чтобы сделать это, мы увеличили длину кончика пальца, чтобы касание был зарегистрирован задолго до того, как поверхности коснётся видимый палец. Используя два разных меша и правило рендеринга, мы создаём иллюзию подвижного дыры в стиле ACME.

Эксперименты Leap Motion: новые способы сделать ввод без контроллеров более интуитивным и естественным

Эти эффекты от захвата объекта ощущаются намного намного более согласованными, будто наши пальцы приглашаются пересечь меш. Очевидно, для этого подхода потребуется более сложная система для обработки объектов, отличных от сферы, для прочих частей рук и для объединения дыр ACME, когда пальцы очень близко друг к другу. Тем не менее, концепция возможностей на базе реакции обещает решить проблему непредсказуемого захвата.

Ориентированный на руки дизайн виртуальной реальности — это огромное поле возможностей, от настоящих трёхмерных пользовательских интерфейсов до манипулирования виртуальными объектами для их передвижения и так далее. Как у творцов, у всех нас есть возможность объединить лучшие части знакомых физических метафор с неограниченным потенциалом цифрового мира. В следующий раз мы будем менять законы физики, чтобы магически вызывать объекты на расстоянии!

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВКTwitter и Facebook

Далее: Leap Motion закрыла раунд инвестиций на $50 миллионов

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Поддержи Голографику на Patreon!