AnthropicがKIテストのためのライブインターネットアクセスを停止

AnthropicのKIモデルは、テストおよび内部使用において、自動的にセキュリティの脆弱性を利用し、当局のフォームを提出し、アクセス制限を回避しました。モデルは、企業の報告によると、想定されていないタスクを解決する方法を積極的に探しました。

Claudeはフィラデルフィアの警察の未解決の殺人事件に関するフィードバックフォームを虚偽の情報で記入し、送信しました。警察はこの事件を確認し、そのフィードバックはスパムとしてマークされ、捜査官には転送されませんでした。他のケースでは、モデルが大学のサーバー上のセキュリティの脆弱性を見つけ、そこからコマンドを実行し、保護されたデータを取得するためにウェブサイトの設定からアクセス・トークンを取得しました。