Meta на Connect 2021 представила платформу Presence. Она объединяет широкий спектр возможностей машинного восприятия и искусственного интеллекта для более реалистичной и естественной дополненной реальности и дополненной виртуальности. За последние месяцы в рамках платформы компания выпустила экспериментальную версию Spatial Anchors, Voice SDK и Passthrough, а теперь к этому добавился Interaction SDK — тоже в статусе экспериментального.
Interaction SDK
Новый инструментарий упрощает создание сценариев взаимодействия с контентом руками и с помощью контроллера через заготовленные заранее компонуемые модули.
Вот некоторые возможности Interaction SDK Experimental:
- Хватание, изменение размера, бросание, передача объектов из рук в руки и захват на расстоянии. Работает и со свободными объектами, и с закреплёнными, такими как рычаги.
- Соответствие позы рук виртуальным объектам при хватании. Инструменты позволяют создавать позы, которые обычно трудоёмки при добавлении в проект.
- Обнаружение позы: создание собственных жестов с использованием информации о каждом пальце, такой как угол поворота и сгибания, поддержка нескольких жестов сразу.
- Создание виртуальных поверхностей с удобными кнопками. Механика нажатия устойчива к ложным срабатываниям и пропускам. Кнопки имитируют тактильные и физические ощущения посредством «ограничения касания», которое не позволяет вашей руке аватара проходить насквозь. Жест прокрутки позволяет создавать более сложные 2D-интерфейсы, в том числе на изогнутых поверхностях.
- Прицеливание и выбор: механика движения «курсора» и выбора, аналогичная той, что работает в системном пользовательском интерфейсе, в том числе на криволинейных поверхностях.
Релиз SDK требует демонстрационного контента. Поэтому Meta в последние несколько месяцев помогала независимым студиям интегрировать новое интерактивное взаимодействие в их проекты, заодно собирая отзывы. Результаты можно проверить в играх Chess Club VR от Odders Lab, ForeVR Darts от ForeVR Games и Finger Guns от Miru Studio.
Сопроводительные документы лежат по ссылке.
Tracked Keyboard SDK
Технология Tracked Keyboard от Meta позволяет пользователям брать с собой в виртуальную реальность настоящие клавиатуры, чтобы не иметь проблем с набором текста в виртуальных интерфейсах. Очки могут обнаруживать и отслеживать клавиатуры Logitech K830 и Apple Magic Keyboard, отрисовывать на них ясные клавиши и забирать данные о вводе по Bluetooth. Скоро появится поддержка других устройств.
SDK позволяет интегрировать новую возможность в приложения на Unity и нативный софт. Проверить работу клавиатур можно в vSpatial. Отдельная документация есть здесь.
Для начала работы с Interaction SDK Experimental и Tracked Keyboard SDK их можно загрузить вместе с Oculus Integration SDK 37.0 для Unity.
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!
Далее: Затемнение, вес, связь, Android: инженер раскрыл секреты Magic Leap 2
