Компания «Яндекс» сообщила о запуске новой версии сервиса, который переводит текст на фото и изображениях.
Сервис работает на базе отдельной модели YandexGPT, специально адаптированной под задачи перевода с английского на русский.
Новая модель способна распознавать стиль оригинального текста и может сохранить игру слов. Кроме того, алгоритмы способны подбирать более точные формулировки во фразах с несколькими значениями и не переводить выражения дословно. Также нейросеть распознаёт переносы слов и может понять их значение, даже если в кадр попала только часть текста.
Нейросеть подбирает шрифт, размер и цвет букв, чтобы переведённый текст выглядел максимально похожим на оригинальный. При переводе старый текст стирается, а поверх него располагается перевод, который получается контрастным. Это улучшает читаемость.
Новая версия уже доступна в «Переводчике» и «Браузере». Позже обещают добавить в «Умную Камеру».