«Яндекс» добавил в «Браузер» функцию синхронного перевода и озвучивания прямых видеотрансляций. Пока она находится в статусе бета-тестирования, рассказали Rozetked в пресс-службе компании.

Новшество основано на технологии автоматического перевода видео, которая появилась в «Браузере» в сентябре 2021 года. Она распознаёт речь в ролике, переводит её через «Яндекс Переводчик», определяет пол говорящего и озвучивает текст с учётом пауз и скорости речи поверх видеоряда. Результат звучит как дубляж поверх оригинального звука.

Чтобы адаптировать функцию под стримы, инженеры «Яндекса» перестроили всю её архитектуру. Нейросети распознают речь, превращают её в текст, переводят и озвучивают результат прямо на лету. Самое сложное — расставление знаков препинания и выделение смысловых фрагментов в ещё не законченном спикером предложении. 

Синхронный перевод можно опробовать в «Яндекс Браузере» для компьютера (может потребоваться перезагрузка приложения) на ограниченном списке YouTube-каналов:

• NASA;
• English Speeches;
• TED;
• TedX Talks;
• Hubble;
• SpaceX;
• Business Insider;
• Freeinvesting;
• TechCrunch;
• Google;
• Google Developers;
• Apple;
• CNET Highlights;
• Gaming News — IGN;
• thegameawards;
• The Overlap.

В «Яндексе» также поделились статистикой использования закадрового перевода. За 10 месяцев работы функцию запустили на 81 млн видеороликов. Сейчас технология поддерживает английский, немецкий, французский, итальянский и испанский языки, в будущем появятся китайский, японский и несколько европейских языков.