«Яндекс» научил свой браузер переводить любой видеоролик с озвучиванием

«Яндекс» продемонстрировал прототип технологии автоматического перевода любого ролика в интернете. Она будет работать внутри «Яндекс.Браузера».

Алгоритм с участием машинного обучения объединяет технологии биометрии, распознавания и синтеза речи. Переведённый результат накладывается на оригинальную аудиодорожку — как профессиональный дубляж в фильмах. Для того, чтобы закадровый голос совпадал с картинкой, переводчик делает паузы и меняет скорость воспроизведения речи.

«Яндекс.Браузер» давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире ещё не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше, — руководитель направления обработки естественного языка Дэвид Талбот

Сейчас команда «Яндекса» продолжает работать над технологией, в ближайшее время планируется запуск функции для всех пользователей «Браузера». Сейчас её можно опробовать на выделенном перечне роликов.