Meta* объявила о релизе Llama 4 — нового «стада» ИИ-моделей, в которое вошли Scout, Maverick и Behemoth. Среди особенностей: поддержка мультимодального взаимодействия, reasoning и большое контекстное окно на 10 млн токенов, что в 80 раз больше, чем у Llama 3.
«Мы представляем Llama 4 Scout и Llama 4 Maverick, первые изначально мультимодальные модели с открытым весом и беспрецедентной поддержкой длины контекста, а также наши первые модели, созданные с использованием архитектуры «смешанные эксперты» (MoE). Мы также представляем Llama 4 Behemoth, одного из самых умных LLM в мире и самого мощного из тех, кто еще будет служить учителем для наших новых моделей»— пишет Meta*
- Llama 4 Scout — 17 млрд активных параметров, 16 экспертов, 109 млрд общих параметров; подходит для задач reasoning, long-context, coding и image understanding; превосходит Gemma 3, Gemini 2.0 Flash-Lite, Mistral 3.1
- Llama 4 Maverick — 17 млрд активных параметров, 128 экспертов, 400 млрд общих параметров; заявляется как лучшая модель для reasoning, coding и мультимодального взаимодействия; по многим показателям обходит GPT-4o, Gemini 2.0 Flash и DeepSeek v3.1
- Llama 4 Behemoth (в разработке) — 288 млрд активных параметров, 16 экспертов, ~2 трлн общих параметров; используется как «учитель для новых моделей»; обходит GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro на STEM-бенчмарках
Llama 4 Scout и Llama 4 Maverick доступны для загрузки на llama.com и Hugging Face. Доступ к ИИ-моделям также есть в WhatsApp, Messenger, Instagram DM и на веб-сайте Meta.AI.
Подробнее о работе текстовых нейросетей можно почитать в нашем отдельном большом материале.
* Деятельность компании Meta Inc. и её продуктов Instagram и Facebook признана в России экстремистской и
запрещена