«Яндекс» выложил в открытый доступ нейросеть для генерации и обработки текстов
YaLM 100B теперь самая большая GPT-подобная нейросеть в открытом доступе.
«Яндекс» выложил в открытый доступ нейросеть для генерации и обработки текстов на русском и английском языках YaLM 100B. Теперь это самая большая общедоступная GPT-подобная модель.
YaLM 100В оснащена 100 млрд параметрами, что позволяет использовать её для решения задач, связанных с обработкой естественного языка. Языковая модель определяет принцип построения текста и на основе этого генерирует новый, опираясь на правила лингвистики и знания о мире.
С помощью нейросети можно генерировать слоганы, описания товаров, ответы, поздравления и даже стихи. «Яндекс» использует YaLM 100В в более 20 проектах, в том числе в «Алисе». Нейросеть помогает с ответами службы поддержки, составлении описания сайтов и быстрых ответов в Поиске.
Для обучения модели использовался суперкомпьютер «Яндекса», в процессе обработано около 2 ТБ текстов из интернета на английском и русском языках. YaLM 100В доступна на GitHub.