Oculus VR выпустила специальный плагин для Unity, который направлен на автоматическое обнаружение и преобразование человеческой речи в движения губ виртуальных аватаров. Это работает как с записями, так и с потоковым контентом — например, в аудиочате. Функционирование такого плагина переводит на новый уровень ассоциирование человека с его виртуальным альтер-эго, и последний приобретёт большее значение для пользователей Сети.
OVRLipSync обрабатывает поток и создаёт для него множество значений под названием «виземы» (англ. «viseme»). Визема — жест или выражение губ или лица, соответствующее определённому звуку речи, сообщает документация плагина. Практическая польза очевидна и заключается в том, что компьютерные персонажи в голосовом общении будут выглядеть так, будто на самом деле говорят с вами. Интересно, как скоро такой плагин сумеет выдать NPC за живого собеседника.
Сейчас система работает с 15 виземами: sil, PP, FF, TH, DD, kk, CH, SS, nn, RR, aa, E, ih, oh, и ou. Они соответствуют выразительной мимике: например, sil соответствует тишине/нейтральному выражению, PP — по всей видимости, первому слогу слова «попкорн», а FF — первому слогу англоязычного слова «рыба» — «fish».
Хотя на ум приходит масса вариантов использования этой технологии, на фоне недавнего выпуска Oculus Social для Gear VR, производитель Rift продолжает подкреплять серьёзными разработками социальную сторону виртуальной реальности, которую считают основной владельцы Oculus VR из Facebook.
Новый плагин для Unity 5 доступен для загрузки по этой ссылке.
Далее: Oculus Social обзаведётся различными приложениями-комнатами на VrScript
По материалам Road to VR
