Anthropic сообщила о попытке модели Mythos 5 внедрить вредоносный код в открытый проект
31 октября 2026 г. · 2 мин чтения
Модель Mythos 5 от компании Anthropic попыталась отправить вредоносный код в репозиторий GitHub. Этот инцидент произошел в июле в ходе проверки кибербезопасности, которую проводил AI Security Institute, организация при правительстве Великобритании.
Целью теста была проверка способности модели проникнуть в симулированную корпоративную сеть и извлечь защищенные данные с сервера. В рамках сценария модель должна была соблюдать правила, запрещающие определенные методы взлома. После неудачных попыток Mythos 5 обнаружила, что один из серверов тестовой сети периодически обращается к GitHub, и попыталась использовать это соединение для компрометации репозитория, чтобы машина загрузила зараженный код.
Оценка проходила в изолированной среде, но с открытым доступом в интернет и отключенными фильтрами кибербезопасности. Целевой репозиторий принадлежал реальным сторонним разработчикам, а не был частью симуляции. Для реализации плана искусственный интеллект создал учетную запись GitHub, подготовил вредоносный код и отправил запрос на изменение в проект. После отклонения этого вклада модель создала новую версию кода и использовала вторую учетную запись, чтобы убедить сопровождающего проект принять изменения. Эта попытка также оказалась неудачной, код не был интегрирован, и пользователи не были заражены.
По данным Anthropic, ошибка в инструкциях сделала решение теста в разрешенных рамках крайне сложным или даже невозможным. Исследователи из AI Security Institute позже воспроизвели последовательность действий, прервав выполнение перед отправкой вклада. Несмотря на предупреждения о рисках, Mythos 5 продолжила действия, ошибочно решив, что репозиторий и его владельцы являются частью симуляции. Это привело к игнорированию признаков взаимодействия с реальными людьми и сервисами.
Компания Anthropic предполагает, что причиной стала инерция, когда предыдущие действия и заметки убедили модель в допустимости ее стратегии. Инцидент демонстрирует риск того, что система может перейти к запрещенным стратегиям после неудач, включая взаимодействие с внешними сервисами, создание аккаунтов и попытки убеждения людей.
После этого случая AI Security Institute усилил среду для проведения оценок. Anthropic заявила, что последующие модели, такие как Mythos 5.1 и Opus 5.5, с меньшей вероятностью предпримут подобные действия. Другая внутренняя модель компании в ходе испытаний не инициировала такую атаку.