Учёные создали «говорящую голову» из статичной картинки или рисунка

Автор Герман Лебедев в 13:35 22.05.2019
- 0 +  4 406 0

На сайте Корнеллского университета появилась публикация о «говорящих картинках». Авторы проекта, Егор Захаров, Александра Шишея, Егор Бурков и Виктор Лемпицкий, смогли анимировать головы с помощью лицевых ориентиров, используя всего один или несколько снимков конкретного человека.

По словам авторов, система, получившая название fewshot learning, способна создать очень реалистичные модели говорящих голов людей и даже портретных картин. Алгоритмы производят синтез изображения головы одного и того же человека с линиями ориентира лица, взятых из другого фрагмента видео, или с использованием ориентиров лица другого человека.

В ходе мета-обучения система превращает ориентиры лица человека в реалистично выглядящие персонализированные фотографии. Технология fewshot learning во многом заимствует из других проектов по моделированию — так, например, используется метод text-to-speech (синтез речи).

Синтез лица и фотографии того же человека
Синтез лица и фотографии другого человека

Для исследования авторы проекта показывали пользователям три разных изображения: оригинальное и два, созданных с помощью системы fewshot learning. Пользователи после этого должны были определить, какая из этих картинок реальная, а какая — искусственно созданная.

Чтобы получить максимально точную «говорящую голову», системе необходимо использовать более 32 изображений. Сама технология способна инициализировать параметры индивидуально для каждого человека на снимке, поэтому создание эффекта может быть основано и на нескольких снимках. 


21.06.2019
Презентация Huawei Nova 5
06.09.2019
IFA 2019
02.08.2019
Evo 2019
21.08.2019
Gamescom 2019
03.10.2019
Игромир 2019
19.12.2019
Премьера «Звездные войны: Эпизод 9»
17.12.2020
Премьера «Аватар 2»
Все события

Комментарии

21.06.2019
Презентация Huawei Nova 5
06.09.2019
IFA 2019
02.08.2019
Evo 2019
21.08.2019
Gamescom 2019
03.10.2019
Игромир 2019
19.12.2019
Премьера «Звездные войны: Эпизод 9»
17.12.2020
Премьера «Аватар 2»
Все события