Глава Yandex Research рассказал о платформе для запуска нейромоделей в распределённой сети ПК

Руководитель научного отдела «Яндекса» (Yandex Research) Артём Бабенко рассказал изданию vc.ru о миссии проекта, а также о перспективных и значимых научных работах в области машинного обучения.

Приводим основные тезисы:

• Yandex Research — «мостик между мировой наукой и бизнесом». В команде работает около 30 человек, в том числе исследователи из ВШЭ, МФТИ, МГУ и других ведущих вузов страны.
• Один из важнейших проектов — Petals. Это система с открытым исходным кодом, которая позволяет запускать большие языковые модели (LLM) в распределённой сети пользовательских компьютеров. Такая архитектура снижает порог входа для работы с LLM, что особенно критично для небольших команд с ограниченными ресурсами.
• Ещё одно направление работы — оптимизация алгоритмов диффузионных моделей (вроде Yandex AI Rendering Technology, которая лежит в основе «Шедеврума»). Сейчас подобные модели слишком дорого обучать и применять.
• В Yandex Research также изучают новые возможности использования диффузионных моделей. Усилия направлены и на табличный deep learning. Такие модели решают задачи с данными, которые представлены разными типами значений: например, количество переходов, кликов, проведённое время и так далее.
• За время своего существования команда Yandex Research выпустила 246 исследований, 17 из них — за последний год.
• Научные статьи выходят в том числе в партнёрстве с зарубежными вузами: Стэнфордом, ETH в Цюрихе, Институтом науки и технологий (IST) в Австрии, Berkeley в Калифорнии.

В начале декабря Массачусетский технологический институт составил список из 20 компаний, которые внесли наибольший вклад в развитие искусственного интеллекта. Единственный представитель России, вошедший в перечень — «Яндекс».