Модель «ГигаЧат Ультра» заняла первое место по качеству генерации текста на русском языке в открытом независимом бенчмарке RuQualBench. По знанию русского языка «ГигаЧат» обошёл признанных международных лидеров: Claude Opus 4.5 (Anthropic), Deepseek V4 Pro, GPT-5, Gemini 3 Pro и другие модели.
Как выяснили в Rozetked, нейросеть «Сбера» показала лучший результат по грамотности и способности создавать текст, допустив минимальное количество ошибок — всего 0,2 на 1000 токенов.
Качество генерации на русском языке напрямую влияет на возможность применять модель в реальных задачах: деловой переписке, создании контента, клиентских сервисах или документообороте.
Как устроен тест
RuQualBench создан специально для выявления проблем при генерации русского текста. Модели выполняют задания двух типов: свободный диалог на бытовые и информационные запросы и развёрнутые задачи на написание художественных текстов.
В обоих случаях модель свободно генерирует текст, а не выбирает вариант ответа — именно это позволяет выявить ошибки. Оценку выставляет «модель-судья» Gemini 2.5 Pro по чётким критериям. Тест прогоняется минимум три раза, а итоговый результат считается как средний показатель.
Код, датасет и методология выложены в открытом доступе, результаты может воспроизвести любой разработчик.
Бенчмарк фиксирует ошибки, заметные любому читателю: вкрапления латиницы, несуществующие слова (морфологические галлюцинации), нарушения согласования рода и падежей. Эти ошибки заметны любому читателю и сигнализируют: модель «думает» не по-русски.
От чего зависит качество ответов
В обучающих данных большинства мировых моделей русскоязычные тексты занимают незначительную долю — качественных данных просто недостаточно. Русский язык морфологически сложнее английского, включает шесть падежей, три рода, сложные формы глаголов и согласования. Модели без специализации на русском регулярно ошибаются именно в этих структурах.
«ГигаЧат» изначально строился с фокусом на русский язык и генерирует текст нативно, без адаптации английских синтаксических шаблонов, отмечают в компании.