Нейронная сеть Nvidia умеет анимировать 3D-модель лица только на основе голоса
Бета-версия Audio2Face доступна для скачивания и поддерживает русский язык.
Компания Nvidia научила нейронную сеть анимировать 3D-модель лица, используя для этого только голос.
Технология Audio2Face работает на основе открытой платформы Nvidia Omniverse. Нейронная сеть может создавать анимацию на основе готового файла или в реальном времени. Всё, что для этого нужно, загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.
Что интересно, одну анимацию можно использовать с несколькими персонажами:
Кроме того, Audio2Face позволяет управлять эмоциями персонажа: нейронная сеть автоматически строит корректные движения лица, глаз, рта, языка и головы в соответствии с выбранным эмоциональным диапазоном.
Бета-версия программы доступна для скачивания с сайта Nvidia — она поддерживает четыре языка: английский, французский, итальянский и русский. В будущем Audio2Face сможет обрабатывать любые языки, отметили в Nvidia.
9 ноября Nvidia представила технологию Omniverse Avatar, которая позволяет создавать интерактивных аватаров с искусственным интеллектом. Анимация аватаров основана на технологиях Video2Face и всё той же Audio2Face.