«Сбер» выпустил семейство генеративных моделей Kandinsky WM 1.0, о чём в компании рассказали Rozetked. ИИ-модели обучены генерировать видео, более точно соответствующие законам физики и пригодные для обучения систем Physical AI. Такие нейросети используются для обучения роботов и автономных систем.
В основе моделей лежит нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Код и веса нейросетей опубликованы под лицензией MIT — и бесплатно доступны всем разработчикам.
«Это первое поколение нейросетей на пути к полноценным моделям мира — системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов. Кроме генерации данных, такие нейросети могут выступать основой для систем управления: выученная при генерации видео физическая интуиция переносится в модели действий роботов»— пресс-служба «Сбера»
Как обучали Kandinsky WM:
- Чтобы повысить физическую достоверность, команда дообучила Kandinsky 5.0 Video Lite на нескольких миллионах реальных видеосцен — автомобили, роботы, промышленные процессы, сложные движения объектов.
- Отдельные направления, например, автомобильные сцены, дополнительно улучшили с помощью обучения с подкреплением: специальные модели оценивали ролики на предмет сохранения формы объектов, геометрии и естественности движения.
- На основе этой обратной связи Kandinsky учился создавать более физически правдоподобные видео.
Kandinsky WM 1.0 — первое открытое семейство российских моделей для генерации физически достоверных данных. В мире таких систем единицы, отмечают в компании. Модели уже применяет Центр робототехники «Сбера» для обучения собственных роботов, а также институт AIRI в своём дорожном симуляторе.
«Чтобы просчитать, как поведёт себя коробка на мокром конвейере, нужно знать огромное количество параметров, которых у нас нет. Есть кейсы, которые вообще не описываются уравнениями, например, поведение пешехода перед беспилотным автомобилем. Человек решает эту задачу не вычислением, а интуицией, накопленной из опыта. Наши модели учатся так же — на видео реального мира — и позволяют „прожить“ виртуально даже те сценарии, которые опасно или невозможно воспроизвести. Это шаг к моделям мира — системам, которые понимают физическую реальность, предсказывают, что произойдёт дальше, и могут действовать в ней самостоятельно»— Денис Димитров, CTO Kandinsky, управляющий директор по исследованию данных «Сбера»