Нейросетевая языковая модель ruRoberta-large finetune (ruRoBERTa), разработанная дочкой «Сбера», компанией SberDevices, получила наивысшую на текущий момент оценку в бенчмарке Russian SuperGLUE. Он оценивает большие текстовые модели на русском языке.

ruRoBERTa является продвинутой версией другой модели «Сбера» — ruBERT. Обучение модели на суперкомпьютере «Кристофари», созданном SberCloud и выдающем мощность в 6,7 петафлопс, заняло три недели. Текст, на котором тренировалась технология, занимает 250 ГБ.

В «Сбере» заявляют, что ruRoBERTa уступает по точности только человеку.

В шестёрке лидеров Russian SuperGLUE — ещё четыре модели от SberDevices: ruT5-large-finetune, ruBert-large finetune, ruT5-base-finetune и ruBert-base finetune.

Рейтинг нейросетей Russian SuperGLUE — первый бенчмарк для моделей, работающих с русским языком. Он разработан «Сбером» совместно с Huawei и Высшей школой экономики. Модели оцениваются посредством различных заданий, среди которых набор вопросов на здравый смысл и знание, наличие причинно-следственных связей между текстом и гипотезой из него и другие.