Ввод текста в виртуальной реальности остаётся нерешённой проблемой. Но это благодатная почва для экспериментов. Пока стартаперы из Normal предлагали помесь ксилофона с голосовым ридером, а Logitech оцифровывала реальные клавиатуры, исследователи Facebook Reality Labs разработали клавиатуру PinchType специально для функции трекинга рук и пальцев. Это полностью виртуальная клавиатура, которую можно использовать руками без каких-либо контроллеров.
Автономные очки Oculus Quest от Facebook получили «экспериментальную» поддержку отслеживания рук без контроллеров в декабре 2019 года. Обновления системы за последние месяцы улучшили качество этого отслеживания. Однако, учитывая, что технология основана на использовании камер без дальномеров, для скоростной печати она подходит плохо.
PinchType, представленная на конференции ACM SIGCHI 2020, решает задачу программно. Она назначает каждому пальцу, кроме большого, группу букв со стандартной раскладки QWERTY. Когда вы прижимаете указательный, средний, безымянный палец или мизинец к большому, вводится привязанная группа, а остальное либо доделывает нечто вроде T9, либо вы сами вручную.
Принцип прост и в том, что касается трекинга, и в моторике. Самым сложным здесь, вероятно, является языковой алгоритм, которые определяет, какое слово вы хотели напечатать, основываясь на вводимой группе букв и контексте. К сожалению, об алгоритме практически ничего не известно.
Исследователи говорят, что PinchType обеспечивает среднюю скорость набора чуть более 12 слов в минуту. Для сравнения, среднее значение для QWERTY-клавиатуры составляет около 40 слов в минуту, а на смартфоне — 35.
В настоящее время ввод текста в Quest работает путём выбора отдельных букв с виртуальной парящей клавиатуры QWERTY, по одной за раз. В режиме без контроллера это делает набор чрезвычайно медленным.
О планах на релиз PinchType в Facebook не говорят. Как вы считаете, стоит ли компании выпустить эту клавиатуру на Quest?
Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Mozilla рассказала о децентрализованной сети виртуальных пространств Hubs Cloud
