В видеоплеере «ВКонтакте» появились автоматические субтитры
В их работе, разумеется, задействованы алгоритмы машинного обучения.
«ВКонтакте» объявил о запуске функции автоматических субтитров на русском языке в видеоплеере. Она использует несколько технологий, которые уже применяются в других продуктах социальной сети.
Система автоматически генерирует текст из аудиодорожки, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам и обеспечивает точность появления субтитра в момент произнесения фразы.
Чтобы выделить из звука только текст, применяется технология интеллектуального шумоподавления, уже работающая в видеозвонках «ВКонтакте». Технология расстановки знаков препинания, аналогов которой нет на рынке, использует наработки функции распознавания аудиосообщений. Всё это с использованием методов машинного обучения.
Автоматические субтитры будут полезны, когда важно соблюдать тишину, нужно посмотреть видео без звука или не хочется мешать окружающим: например, в метро или офисе. Также благодаря субтитрам людям с нарушениями слуха будет проще понимать содержание видео, – пресс-служба «ВКонтакте»
Сейчас функция тестируется и дообучается. Автоматические субтитры доступны в популярных роликах и видео из верифицированных сообществ для части пользователей «ВКонтакте» в веб-версии и мобильном приложении.