Meta выпустила SDK Interaction и Tracked Keyboard

Meta на Connect 2021 представила платформу Presence. Она объединяет широкий спектр возможностей машинного восприятия и искусственного интеллекта для более реалистичной и естественной дополненной реальности и дополненной виртуальности. За последние месяцы в рамках платформы компания выпустила экспериментальную версию Spatial Anchors, Voice SDK и Passthrough, а теперь к этому добавился Interaction SDK — тоже в статусе экспериментального.

Interaction SDK

Новый инструментарий упрощает создание сценариев взаимодействия с контентом руками и с помощью контроллера через заготовленные заранее компонуемые модули.

Вот некоторые возможности Interaction SDK Experimental:

  • Хватание, изменение размера, бросание, передача объектов из рук в руки и захват на расстоянии. Работает и со свободными объектами, и с закреплёнными, такими как рычаги.
  • Соответствие позы рук виртуальным объектам при хватании. Инструменты позволяют создавать позы, которые обычно трудоёмки при добавлении в проект.
  • Обнаружение позы: создание собственных жестов с использованием информации о каждом пальце, такой ​​как угол поворота и сгибания, поддержка нескольких жестов сразу.
  • Создание виртуальных поверхностей с удобными кнопками. Механика нажатия устойчива к ложным срабатываниям и пропускам. Кнопки имитируют тактильные и физические ощущения посредством «ограничения касания», которое не позволяет вашей руке аватара проходить насквозь. Жест прокрутки позволяет создавать более сложные 2D-интерфейсы, в том числе на изогнутых поверхностях.
  • Прицеливание и выбор: механика движения «курсора» и выбора, аналогичная той, что работает в системном пользовательском интерфейсе, в том числе на криволинейных поверхностях.

Релиз SDK требует демонстрационного контента. Поэтому Meta в последние несколько месяцев помогала независимым студиям интегрировать новое интерактивное взаимодействие в их проекты, заодно собирая отзывы. Результаты можно проверить в играх Chess Club VR от Odders Lab, ForeVR Darts от ForeVR Games и Finger Guns от Miru Studio.

Сопроводительные документы лежат по ссылке.

Tracked Keyboard SDK

Технология Tracked Keyboard от Meta позволяет пользователям брать с собой в виртуальную реальность настоящие клавиатуры, чтобы не иметь проблем с набором текста в виртуальных интерфейсах. Очки могут обнаруживать и отслеживать клавиатуры Logitech K830 и Apple Magic Keyboard, отрисовывать на них ясные клавиши и забирать данные о вводе по Bluetooth. Скоро появится поддержка других устройств.

SDK позволяет интегрировать новую возможность в приложения на Unity и нативный софт. Проверить работу клавиатур можно в vSpatial. Отдельная документация есть здесь.

Для начала работы с Interaction SDK Experimental и Tracked Keyboard SDK их можно загрузить вместе с Oculus Integration SDK 37.0 для Unity.

Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК, Twitter и Facebook!

Далее: Затемнение, вес, связь, Android: инженер раскрыл секреты Magic Leap 2