Китайская компания Moonshot расследует уязвимости в моделях искусственного интеллекта

Компания Moonshot проводит внутреннее расследование после того, как исследователи в области кибербезопасности смогли заставить две ее популярные модели предоставить инструкции по созданию биологического оружия.

Специалисты платформы Mindgard, базирующиеся в Университете Ланкастера, обнаружили в июле, что модели Kimi K2.6 и K3 Swarm способны обходить установленные разработчиками ограничения безопасности. Для этого использовался метод, называемый взломом, который предполагает применение серии сложных инструкций для проверки способности инструментов искусственного интеллекта преодолевать защитные барьеры.

По данным Mindgard, модель Kimi 2.6 может позволить хакерам запускать код на вычислительных ресурсах Moonshot и подключаться к интернету, что делает ее уязвимой для потенциальных кибератак. Основатель организации Питер Гараган заявил, что результаты исследования вызывают особую тревогу, так как после успешного обхода защиты модель становится открытой для любых задач и может свободно рекомендовать вредоносные действия.

Компания Moonshot не опровергла эти выводы и ведет обсуждение с Mindgard. Представители компании отметили, что воспринимают критику как основу для создания более безопасного искусственного интеллекта, однако выразили недовольство решением Mindgard публично раскрыть информацию об уязвимости. В свою очередь, Mindgard сообщила, что уведомила разработчика еще 27 июля, не раскрывая ключевых деталей метода обхода защиты.