В «Яндекс Браузере» появился многоголосый перевод видеороликов. Об этом Rozetked рассказали в пресс-службе компании.

Раньше алгоритм поддерживал только два голоса: мужской и женский. Теперь доступно 12 голосов, по шесть каждого пола. В «Яндексе» уверены, что благодаря нововведению воспринимать видео с большим количеством спикеров стало намного легче.

«По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»

Сначала нейросеть переводят речь в текст, восстанавливают пунктуацию и определяют границы предложений. После другой алгоритм анализирует спектограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми, и уточняет пол спикера. Затем нейросеть занимается размещением аудиодорожек с переводом с учётом пауз и скорости речи.

Технология перевода и озвучивания роликов на иностранном языке появилась в «Яндекс Браузере» осенью 2021 года. А этим летом алгоритм научился работать не только с загруженными видео, но и с прямыми трансляциями. В будущем «Яндекс» планирует расширить список поддерживаемых языков, который сейчас включает английский, французский, испанский и итальянский.