Технология Deepfake подстраивает мимику актёров под дублированную речь. Вот как это выглядит
Нейросеть синтезирует движения губ и лицевых мышц актёров так, как если бы они говорили на другом языке.
Британская компания Flawless выпустила программный пакет TrueSync, который использует глубокое машинное обучение и подстраивает мимику актёров кино под дублированную речь.
Нейронная сеть синтезирует движения губ и лицевых мышц актёров так, как если бы они изначально говорили на языке дубляжа. TrueSync замещает лицо актёра дипфейком, при этом учитывая оригинальную мимику — это позволяет не потерять тонкости игры актёра.
В Flawless подчеркнули, что их технология сохраняет все нюансы и эмоции исходного материала. Правда, судя по представленным видео, пока программа работает с некоторыми недочётами.
Ранее в TikTok появились реалистичные дипфейк-видео с Томом Крузом, в США с помощью подобных технологий «воскресили» погибшего после школьной стрельбы подростка, а по ссылке можно посмотреть целую подборку дипфейк-видео высочайшего качества с заменой актёров в популярных фильмах с помощью нейронной сети.