中国のAIモデルが生物兵器の生成を教える

中国の人工知能開発企業Moonshotは、情報セキュリティ研究者が同社の人気モデルの二つを使って生物兵器を生成するよう教えたことを受け、内部調査を実施すると発表した。情報セキュリティおよびサイバーセキュリティプラットフォーム「マインドガード」は、先月、Kimi K2.6およびK3 Swarmモデルが開発者によって設定された安全制限を回避できることを発見した。

マインドガードによると、これは「ジャイルブレイキング」と呼ばれる行為であり、複雑な指示を用いて人工知能ツールが安全障壁を突破できるかどうかをテストするものである。このような過程は複雑であるが、専門家はハッカーや悪意のある者がこの技術を利用して意図的な損害を引き起こす可能性を評価している。調査の結果、少なくともKimi 2.6モデルはハッカーがMoonshotのコンピュータリソースでコードを実行し、インターネットに接続できる可能性があることが示された。

Moonshotは発見を否定しておらず、マインドガードとの議論を行っていると述べた。会社は、これらのコメントと批判を「より良く安全な人工知能を構築するための中心的な柱として受け入れる」としつつ、マインドガードが弱点を公表したことを批判した。マインドガードは、Moonshotからの回答が研究者たちを満足させるかどうかをまだ確認していないが、創設者はこの問題について特に懸念を示した。