Нейросеть ElevenLabs умеет дублировать видео на русский язык. Её задействовали в переводе мемов
Технология поддерживает в общей сложности 29 языков.
Стартап ElevenLabs представил языковую модель Eleven Multilingual v2, которая умеет переводить и дублировать разговорный контент на другой язык с сохранением оригинального голоса. Технология поддерживает 29 языков, включая русский — поэтому пользователи рунета начали активно применять её для перевода мемов и других культовых видео.
Интерфейс ElevenLabs позволяет загрузить видео напрямую или вставить ссылку из YouTube, TikTok, 𝕏 (Twitter) или Vimeo. Процесс довольно быстрый: на дубляж 11-секундного видео сервису понадобилось пару минут.
Похожая нейросеть HeyGen, взорвавшая интернет в сентябре, умеет не только дублировать аудиоряд, но и синхронизировать движение губ спикера в кадре.