На сайте поддержки пользователей Meta* появилось описание разрешения на доступ к данным камер Quest, что предполагает запуск API Passthrough в самое ближайшее время. Эту функцию компания анонсировала на конференции Connect 2024 в сентябре.
Получение доступа к данным камер через новый API означает, что разработчики приложений смогут использовать визуальную информацию о реальном окружении пользователей в реальном времени. Страница поддержки даёт три примера:
- Распознавание объектов. Разработчики могут создавать приложения, которые распознают и используют определённые объекты в вашей реальной среде. Например, в цифровой настольной игре, включающей физические игровые фигуры или доски.
- Распознавание местоположения. Разработчики могут создавать опыт, который реагирует по-разному в зависимости от того, где вы находитесь согласно трансляции с камер. Например, в помещении или на улице, у достопримечательности или в определённом типе помещения.
- Другие функции машинного обучения. Разработчики могут запускать собственные модели машинного обучения на основе данных с камеры в реальном времени. Это может работать для ретекстурирования / затенения, игр с участием пользователей, которые не носят очки, обнаружения людей / животных или любого количества специально созданных промышленных / учебных сценариев использования.
Напомним, что именно данные с камеры Google заявила как ключевое преимущество Android XR. Нейросети компании смогут видеть и слышать всё, что происходит с человеком внутри цифровых миров и за их пределами.
*В России признана экстремистской
Не пропускайте важнейшие новости о дополненной и виртуальной реальности — подписывайтесь на Голографику в Telegram, ВК и Twitter! Поддержите проект на Boosty.
Далее: Samsung рассказала о разработке новых металинз для голографических дисплеев в очках
