Google разработала ИИ, который превращает фото в анимированный аватар
Проект получил название VLOGGER — ведь в теории разработка может пригодиться видеоблогерам.
Команда исследователей Google рассказала о новой нейросети VLOGGER. Метод позволяет генерировать анимацию говорящего человека по одной статической фотографии.
Цель алгоритма — создать реалистичное видео переменной длины с изображением речи человека. Технология способна синхронизировать движение губ, добавить моргание глаз и жестикуляцию. Ещё VLOGGER способен отредактировать выражение лица на уже готовом видео: например, закрыть глаза или рот. Наконец, технологию можно использовать для перевода речи с синхронизацией движения губ с произношением на другом языке. Похожая функцию предлагает, например, сервис HeyGen.
Больше примеров работы — на сайте проекта.
«Технологию можно использовать не только для упрощения творческих процессов, но и для совершенно новых возможностей, таких как онлайн-коммуникации, образование или персонализированные виртуальные помощники», — исследователи Google
VLOGGER не требует обучения для конкретной персоны: на вход подаётся только одна фотография и аудиодорожка с речью, которую должен «произнести» анимированный аватар. Авторы разработки утверждают, что VLOGGER превосходит другие подобные нейросети по качеству работы.