Исследователи из Alibaba опубликовали документ, в котором содержатся сообщения об инциденте, в ходе которого ИИ-агент проявил несанкционированную активность — он запусил криптомайнинг в терминальных средах.
Инцидент произошёл во время тренировки open-source модели ROME, насчитывающей 30 млрд параметров. Активность агента была остановлена только после срабатывания триггеров службы безопасности облачной инфраструктуры — до этого момента разработчики не знали о действиях ИИ.
Для безопасного обучения многошаговым задачам Alibaba представила инфраструктуру Agentic Learning Ecosystem (ALE). В проекте будут использовать ROCK — менеджер изолированных «песочниц», призванный пресекать подобную несанкционированную активность.
Источник:
arXiv