Nvidia представила платформу для создания продвинутых ИИ-помощников Omniverse Avatar

Компания Nvidia в рамках конференции GTC представила технологию Omniverse Avatar, которая позволяет создавать интерактивных аватаров с искусственным интеллектом. 

Виртуальных помощников Omniverse Avatar можно использовать практически в любой отрасли. Например, в одной из демонстраций милый анимированный персонаж рассказывает клиентам о меню в ресторане быстрого питания, отвечая на разные вопросы с их стороны. Персонаж использует технологию отслеживания лиц, чтобы поддерживать зрительный контакт с покупателями и реагировать на выражения их лиц. 

В другой демонстрации, анимированная виртуальная версия главы Nvidia Дженсена Хуанга отвечала на вопросы по разным темам, включая изменение климата. Ещё одна демонстрация показала реалистичный анимированный аватар для конференц-связи. Звонившая девушка была одета в повседневную одежду и находилась в оживлённом кафе, однако её виртуальный аватар выглядел более элегантно, а речь передавалась без постороннего шума. Более того, когда она говорила, её слова транскрибировались и переводились в реальном времени на немецкий, французский и испанский языки с тем же голосом и интонацией.

Этот пример основан на работе технологии Nvidia Project Maxine, которая направлена ​​на устранение распространённых проблем с видеоконференцсвязью, таких как видео низкого качества и поддержание зрительного контакта.

Анимация аватаров основана на технологиях Nvidia Video2Face и Audio2Face, 2D и 3D лицевой анимации и рендеринге на основе искусственного интеллекта. Для распознавания речи используется Nvidia Riva — комплект разработки программного обеспечения, который способен распознавать речь на нескольких языках. Понимание аватаром естественного языка основано на модели Nvidia Megatron 530B, которая может распознавать, понимать и генерировать человеческий язык.