«Яндекс» запустил презентованную в июле функцию автоматического перевода и озвучивания видео, которая работает в «Яндекс.Браузере» и мобильном приложении «Яндекса».

Технология при участии машинного обучения распознаёт речь в видео, транслирует её в текст, переводит через «Яндекс.Переводчик» на русский язык, затем определяет пол говорящего и наносит аудиодорожку перевода с учётом пауз и скорости речи. Результат звучит как дубляж, поверх оригинального звука.

С запуском закадрового перевода перед нашими пользователями открывается огромный пласт контента, который раньше был недоступен из-за языкового барьера. Лекции и документалки, стендапы и влоги, видеорецепты и пошаговые инструкции, стримы и летсплеи — всё это теперь можно смотреть на русском языке.
Мы не планируем останавливаться на достигнутом. В ближайших планах — освоить новые языковые пары и добавить в перевод больше голосов, — пресс-служба «Яндекса»

Функция работает в «Яндекс.Браузере» для Windows, macOS, Linux и Android и в приложении «Яндекс» для iOS и Android для видео на английском языке на платформах YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». На лицензионном контенте, например, от Netflix, а также с прямыми эфирами технология не заработает.

Процесс занимает несколько минут от момента нажатия на кнопку перевода и до получения уведомления.