Исследователи из Meta* и Швейцарской высшей технической школы Цюриха разработали программное решение проблемы превращения любой поверхности в клавиатуру для Quest. Полностью цифровые клавиатуры не дают обратной связи при печати голыми руками, а подключаемые по Bluetooth добавляют увесистый аксессуар к мобильным очкам. Задачей команды проекта стало решение обеих проблем одновременно, в результате родился проект TouchInsight.
Технически разработчики приложений уже сегодня могут создавать виртуальные клавиатуры с привязкой к физическим поверхностям на Quest. Но у доступного способа есть недостатки. Пользователю приходится касаться поверхностей для калибровки, процесс не лишён неточностей. Даже малейшее отклонение высоты виртуальной поверхности от реальной приводит к неприемлемому уровню ошибок ввода.
В прошлом году Meta показала результаты изысканий в решении этих проблем, и технический директор Эндрю Босворт заявил, что достиг скорости почти 120 слов в минуту. Но это решение требовало серии опорных маркеров на столе для калибровки. Кроме того, компания не раскрыла частоту ошибок.
В статье о TouchInsight исследователи говорят, что их разработка достигает максимума в чуть более 70 слов в минуту при средних 37. Средняя частота неисправленных ошибок составляет 2,9%. Принято считать, что средняя скорость ввода на традиционной клавиатуре составляет около 40 слов в минуту, тогда как люди с профессиональным навыком достигают 120.
TouchInsight работает с одними очками Quest 3 без аппаратных дополнений и внешних аксессуаров на любом столе, хотя вопрос с подходящим поверхностями остаётся открытым из-за обычных проблем компьютерного зрения с бликами и отражениями.
Технология включает нейронную сеть для прогнозирования момента касания, трекинга пальца и места касания. Программа «представляет местоположения с помощью двумерного гауссовского распределения для учёта неопределённостей, вызванных неточностями восприятия, которые мы разрешаем с помощью контекстных априорных данных для точного определения предполагаемого ввода пользователем».
Учёные приводят сравнение уровней неисправленных ошибок в полностью самостоятельном режиме работы очков: встроенная парящая клавиатура Horizon OS, согласно статье, даёт 8% при средней скорости печати всего 20 слов в минуту. Это означает, что TouchInsight на 85% быстрее и в три раза точнее. А цитируемое исследование 2019 года показывает, что на смартфоне ошибки занимают 2,3% при 36 словах в минуту. Это значит, что очки могут обеспечить скорость ввода, сравнимую со смартфонной сенсорной клавиатурой.
Подробнее с проектом можно ознакомиться в PDF.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Переносить игры с Quest на Orion будет непросто. У них десятикратная разница в производительности
