Anthropic представила ИИ-модель Claude Mythos Preview, но выпускать её для всех будет опасно

Модель оказалась слишком мощной, поэтому пока ей могут пользоваться только партнёры вроде Google и Apple.

Anthropic представила ИИ-модель Claude Mythos Preview, но выпускать её для всех будет опасно

Anthropic объявила о запуске Project Glasswing. Это коалиция с компаниями-партнёрами вроде Google, Apple, Microsoft, Nvidia и Amazon, построенная вокруг Claude Mythos Preview — новой ИИ-модели, которая может быть слишком мощной, чтобы выпускать её для всех.

Во-первых, Mythos Preview обходит Opus 4.6, выпущенную всего два месяца назад, почти во всех тестах.

Во-вторых, отдельно отмечается, что ИИ-модель отлично справляется с задачами кибербезопасности. Как говорят в компании, Mythos уже нашла тысячи неизвестных ранее уязвимостей «во всех основных операционных системах и веб-браузерах». Например, она обнаружила 27-летнюю дыру безопасности в OpenBSD и 16-летнюю уязвимость в FFmpeg.

Project Glasswing запускают для того, чтобы компании-партнёры могли использовать Mythos Preview для задач кибербезопасности.

Так как ИИ-модель можно использовать не только для исправления уязвимостей, но и для их использования, доступ к ней пока будет только у компаний-партнёров.

О потенциальной опасности Mythos Preview свидетельствуют и несколько инцидентов: например, в 0,001% взаимодействий ИИ-модель совершала запрещённые действия и пыталась это скрыть, а также были зафиксированы попытки найти учётные данные в памяти процессов и расширить свои привилегии.

Кроме того, с одной из ранних моделей был случай, когда она во время теста выбралась из sandbox и опубликовала в сети детали, как именно ей удалось использовать уязвимости в этом sandbox, чтобы выбраться.

Помимо сотрудничества с компаниями, Anthropic также ведёт консультации по поводу Claude Mythos Preview с правительством США, о чём сообщается в официальном пресс-релизе.

«Когда The Verge спросил, что это значит, [в Anthropic] подтвердили, что компания „проинформировала высокопоставленных чиновников правительства США о Mythos и её возможностях“, и что компания по-прежнему „привержена тесному сотрудничеству со всеми уровнями власти“ <...> хотя Anthropic „взаимодействует“ с правительством, представитель компании отказался говорить о том, кого именно компания проинформировала»
— The Verge

После того, как компании-партнёры израсходуют кредиты на 100 млн долларов, они смогут продолжать использование модели на платной основе — цена составит 25/125 долларов за 1 млн токенов, что в пять раз дороже Opus.