На сайте Корнеллского университета появилась публикация о «говорящих картинках». Авторы проекта, Егор Захаров, Александра Шишея, Егор Бурков и Виктор Лемпицкий, смогли анимировать головы с помощью лицевых ориентиров, используя всего один или несколько снимков конкретного человека.

По словам авторов, система, получившая название fewshot learning, способна создать очень реалистичные модели говорящих голов людей и даже портретных картин. Алгоритмы производят синтез изображения головы одного и того же человека с линиями ориентира лица, взятых из другого фрагмента видео, или с использованием ориентиров лица другого человека.

В ходе мета-обучения система превращает ориентиры лица человека в реалистично выглядящие персонализированные фотографии. Технология fewshot learning во многом заимствует из других проектов по моделированию — так, например, используется метод text-to-speech (синтез речи).

Для исследования авторы проекта показывали пользователям три разных изображения: оригинальное и два, созданных с помощью системы fewshot learning. Пользователи после этого должны были определить, какая из этих картинок реальная, а какая — искусственно созданная.

Чтобы получить максимально точную «говорящую голову», системе необходимо использовать более 32 изображений. Сама технология способна инициализировать параметры индивидуально для каждого человека на снимке, поэтому создание эффекта может быть основано и на нескольких снимках.