Набор инструментов Wearables Device Access Toolkit от Meta* для подключения мобильных приложений к датчикам умных очков компании вышел в виде общедоступной бета-версии. Разработчики могут скачивать и интегрировать его в свои приложения для iOS и Android, а также тестировать с очками, но пока не могут выпускать такие интеграции на рынок.
Благодаря инструментарию смартфонные приложения могут делать снимки или инициировать видеотрансляции с очков, а также сохранять и обрабатывать полученные кадры, что особенно ценно из-за ограничений вычислительной мощности носимых устройств. А поскольку очки Meta работают как беспроводные наушники, можно комбинировать визуальные возможности с вводом и выводом звука.
К примеру, SDK подойдёт для добавления в приложения функций прямой трансляции или записи от первого лица, а также для обработки изображений с камеры нейросетевыми моделями в любых целях. Для видеотрансляций максимальное разрешение составляет 720p, а частота кадров — 30 в секунду. Это связывают с ограничениями Bluetooth. При сужении пропускной способности радиоканала разрешение и частота кадров автоматически снижаются.
В настоящее время Wearables Device Access Toolkit поддерживает очки Ray-Ban Meta и Oakley Meta HSTN, а поддержку Oakley Meta Vanguard и Meta Ray-Ban Display обещают добавить в ближайшем будущем. Однако, для ясности, Ray-Ban Display смогут только отдавать изображения с камеры, а выводить что-то на дисплеи не будут.
Среди экспериментов от разработчиков, которым предоставили эксклюзивный доступ к SDK раньше других, есть трансляции от первого лица в исполнении Twitch и Logitech Streamlabs, навигация для слепых от Microsoft и предоставление рекомендаций по использованию клюшек для игры в гольф от 18Birdies. А Disney Imagineering исследовала использование инструментария для создания персонального нейросетевого гида в парках Disney.
Заинтересованные разработчики могут найти SDK на сайте wearables.developer.meta.com.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Godot стал лучше работать с оборудованием на OpenXR
