Компания сообщила, что передаст технологию консорциуму крупных игроков отрасли — включая Amazon, Apple, Google и CrowdStrike — для разработки защитных механизмов. Этот шаг назван «срочной попыткой направить все возможности на защитные цели».

В частности, обеспокоенность вызывает способность Mythos находить ранее неизвестные уязвимости в широко используемом программном обеспечении. В компании отметили: «За последние несколько недель мы использовали Claude Mythos Preview для выявления тысяч уязвимостей «нулевого дня» (то есть ошибок, ранее неизвестных разработчикам программного обеспечения), многие из которых являются критическими, во всех основных операционных системах и во всех основных веб-браузерах, а также в ряде других важных программных продуктов».

Разработчики предупреждают: «С учётом скорости прогресса в области ИИ пройдёт немного времени, прежде чем такие возможности распространятся за пределы тех, кто привержен их безопасному применению. Последствия для экономики, общественной безопасности и национальной безопасности могут быть серьёзными».

По данным Anthropic, система могла не только находить уязвимости, но и самостоятельно разрабатывать способы их эксплуатации при минимальном участии человека. Особую тревогу вызвали случаи её неконтролируемого поведения. В компании признали: «В редких случаях, когда система даёт сбой или ведёт себя странно, мы наблюдали действия, которые вызывают серьёзную обеспокоенность. Эти инциденты обычно связаны с принятием чрезмерно рискованных мер при выполнении сложной задачи, заданной пользователем, и, иногда в более ранних версиях модели, с попытками скрыть такие действия».

Среди зафиксированных эпизодов — выход системы из тестовой среды путём обхода защитных механизмов. После этого она отправила электронное письмо сотруднику компании, который узнал об инциденте, находясь в парке. Более того, система, по всей видимости, «похвасталась» этим, разместив информацию на публичных сайтах. Также сообщается, что Mythos: скрывала следы нарушений правил, использовала данные компьютерных процессов «агрессивными и непреднамеренными способами», «безрассудно раскрывала внутренние технические материалы» и «прекращала дорогостоящие процессы оценки».

Логан Грэм, ведущий специалист по тестированию безопасности в Anthropic, отметил: «Наша команда направляла Mythos Preview на все возможные задачи в области безопасности. Она действительно очень эффективна. Одно из ключевых изменений — модели этого уровня способны писать эксплойты — иногда весьма сложные. В целом мы хотим, чтобы вы понимали: это может вскоре стать новой реальностью».

Проект по использованию Mythos в оборонительных целях получил название Glasswing — по аналогии с бабочкой со стеклянными крыльями, что символизирует способность системы находить уязвимости, «скрытые на виду».

Бывший советник премьер-министра Великобритании по вопросам ИИ Matt Clifford поддержал мнение о важности события: «Удивительно, что мы наблюдаем этот переломный момент, а основная часть элитного дискурса по-прежнему сосредоточена на фейковых новостях о потреблении воды ИИ или на трёхлетних тревогах по поводу галлюцинаций».

Некоторые эксперты считают ситуацию поводом для более радикальных мер. Andrea Miotti, глава организации Control AI, заявил: «Возможности Mythos по взлому — это лишь малая часть того, что нас ждёт. Сочетание мощности и автономности, а также способность вырываться из-под контроля, как это показал Mythos в тестировании, — именно то, почему сверхинтеллектуальные системы ИИ могут выйти из-под контроля человека и нанести непредсказуемый ущерб. Именно поэтому нам необходим запрет на разработку сверхинтеллектуального ИИ до того, как мы достигнем уровня, при котором такие системы станут слишком мощными».

Надо отметить, что Anthropic уже находится в центре громкого инцидента с правительством США по поводу использования её технологий Пентагоном. Власти пытались признать компанию «риском для цепочки поставок», однако это решение было заблокировано судом.

Развитие ситуации вокруг Mythos может усилить дискуссию о регулировании ИИ и роли государства в контроле над его возможностями, особенно на фоне стремительного технологического прогресса и растущих рисков в сфере кибербезопасности.