Apple представила новые функции доступности для Vision Pro, включая управление инвалидными колясками взглядом. Обновления выйдут позже в 2026 году в составе visionOS и других операционных систем компании.
Одной из наиболее необычных функций стала интеграция системы отслеживания глаз Vision Pro с приводами электрических инвалидных колясок. Пользователи смогут управлять движением коляски глазами через совместимые системы Tolt и LUCI. Apple заявляет, что технология работает без сложной калибровки и адаптируется к различным условиям освещения.
Компания также расширяет возможности VoiceOver и компьютерного зрения. Vision Pro смогут описывать окружающее пространство, находить объекты, читать документы и увеличивать реальные предметы через камеры. У разработчиков появится API доступа к основной камере, чтобы создавать приложения помощи слабовидящим пользователям, включая сервисы дистанционной визуальной помощи, вроде Be My Eyes.
Ещё одно обновление усилит функции обработки речи и текста. Apple добавит автоматическую генерацию субтитров для видео без встроенных субтитров, улучшенные описания изображений и новый режим Accessibility Reader для упрощённого отображения сложных текстов, включая научные статьи и таблицы.
Apple также продолжает развивать альтернативные способы управления устройствами. В новых версиях visionOS компания расширит поддержку разных способов управления.
Станет проще ввод текста с клавиатуры при использовании функции отслеживания взгляда или Switch Control. Это обусловлено улучшениям, включая новый таймер задержки нажатия клавиши, уменьшение количества шагов при вводе текста с помощью переключателей и включение функции QuickPath в Vision Pro.
Для пользователей с серьёзными нарушениями опорно-двигательного аппарата visionOS готовит новый протокол поддержки Switch Control для нейрокомпьютерных интерфейсов.
Voice Control предоставит новый режим программирования в Xcode для разработчиков программного обеспечения с ограниченной подвижностью. Голосовое управление также получит синхронизацию словаря между устройствами и расширит языковую поддержку на русский, корейский, арабский, турецкий, итальянский, кантонский, таваньский диалект китайского и сингапурский вариант английского.
Функция Live Captions будет поддерживать английский (Индия, Австралия, Великобритания, Сингапур), китайский (материковый Китай), кантонский (материковый Китай, Гонконг), испанский (США, Мексика, Испания), французский (Франция, Канада), японский, немецкий (Германия) и корейский языки.
Большая часть новых функций использует локальные нейросетевые модели и обработку данных непосредственно на устройстве без отправки информации в облако. Компания подчёркивает, что данные отслеживания глаз и пользовательские действия хранятся только локально.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Все пользователи Ray-Ban Display получили рукописный ЭМГ-ввод, а пешеходы — навигацию по США и далее
