В «Яндекс Браузере» появился синхронный перевод прямых трансляций
Раньше функция работала только с загруженными видеороликами.
«Яндекс» добавил в «Браузер» функцию синхронного перевода и озвучивания прямых видеотрансляций. Пока она находится в статусе бета-тестирования, рассказали Rozetked в пресс-службе компании.
Новшество основано на технологии автоматического перевода видео, которая появилась в «Браузере» в сентябре 2021 года. Она распознаёт речь в ролике, переводит её через «Яндекс Переводчик», определяет пол говорящего и озвучивает текст с учётом пауз и скорости речи поверх видеоряда. Результат звучит как дубляж поверх оригинального звука.
Чтобы адаптировать функцию под стримы, инженеры «Яндекса» перестроили всю её архитектуру. Нейросети распознают речь, превращают её в текст, переводят и озвучивают результат прямо на лету. Самое сложное — расставление знаков препинания и выделение смысловых фрагментов в ещё не законченном спикером предложении.
Синхронный перевод можно опробовать в «Яндекс Браузере» для компьютера (может потребоваться перезагрузка приложения) на ограниченном списке YouTube-каналов:
- NASA;
- English Speeches;
- TED;
- TedX Talks;
- Hubble;
- SpaceX;
- Business Insider;
- Freeinvesting;
- TechCrunch;
- Google;
- Google Developers;
- Apple;
- CNET Highlights;
- Gaming News — IGN;
- thegameawards;
- The Overlap.
В «Яндексе» также поделились статистикой использования закадрового перевода. За 10 месяцев работы функцию запустили на 81 млн видеороликов. Сейчас технология поддерживает английский, немецкий, французский, итальянский и испанский языки, в будущем появятся китайский, японский и несколько европейских языков.