Учёные создали «говорящую голову» из статичной картинки или рисунка

Автор Герман Лебедев в 13:35 22.05.2019
- 0 +  6 221 0

На сайте Корнеллского университета появилась публикация о «говорящих картинках». Авторы проекта, Егор Захаров, Александра Шишея, Егор Бурков и Виктор Лемпицкий, смогли анимировать головы с помощью лицевых ориентиров, используя всего один или несколько снимков конкретного человека.

По словам авторов, система, получившая название fewshot learning, способна создать очень реалистичные модели говорящих голов людей и даже портретных картин. Алгоритмы производят синтез изображения головы одного и того же человека с линиями ориентира лица, взятых из другого фрагмента видео, или с использованием ориентиров лица другого человека.

В ходе мета-обучения система превращает ориентиры лица человека в реалистично выглядящие персонализированные фотографии. Технология fewshot learning во многом заимствует из других проектов по моделированию — так, например, используется метод text-to-speech (синтез речи).

Синтез лица и фотографии того же человека
Синтез лица и фотографии другого человека

Для исследования авторы проекта показывали пользователям три разных изображения: оригинальное и два, созданных с помощью системы fewshot learning. Пользователи после этого должны были определить, какая из этих картинок реальная, а какая — искусственно созданная.

Чтобы получить максимально точную «говорящую голову», системе необходимо использовать более 32 изображений. Сама технология способна инициализировать параметры индивидуально для каждого человека на снимке, поэтому создание эффекта может быть основано и на нескольких снимках. 

Подписывайтесь на Rozetked в Telegram, во «ВКонтакте» и обязательно в YouTube.

25.09.2019
Презентация Amazon
15.10.2019
Made by Google 2019
29.10.2019
Samsung Developer Conference 2019
07.01.2020
CES 2020
24.02.2020
MWC 2020
03.10.2019
Игромир 2019
19.12.2019
Премьера «Звездные войны: Эпизод 9»
17.12.2020
Премьера «Аватар 2»
Все события




Комментарии

25.09.2019
Презентация Amazon
15.10.2019
Made by Google 2019
29.10.2019
Samsung Developer Conference 2019
07.01.2020
CES 2020
24.02.2020
MWC 2020
03.10.2019
Игромир 2019
19.12.2019
Премьера «Звездные войны: Эпизод 9»
17.12.2020
Премьера «Аватар 2»
Все события