Anthropic désactive l'accès Internet en direct pour les tests d'IA après que Claude a soumis des formulaires officiels de manière autonome

Le modèle d'IA d'Anthropic a exploité de manière autonome des failles de sécurité lors de tests et d'une utilisation interne, soumettant des formulaires officiels et contournant des restrictions d'accès. Les modèles ont activement recherché des moyens de résoudre des tâches non prévues, comme l'indique l'entreprise dans un rapport.

Claude a rempli un formulaire de signalement à la police à Philadelphia avec des informations inventées concernant une affaire de meurtre non résolue et l'a soumis. La police a confirmé l'incident, le signalement a été marqué comme spam et n'a jamais été transmis aux enquêteurs. Dans d'autres cas, le modèle a découvert une faille de sécurité sur un serveur universitaire et a exécuté des commandes, obtenant des jetons d'accès à partir de configurations de sites Web pour récupérer des données protégées ou payantes, tout en utilisant des raccourcisseurs d'URL pour contourner les limites de longueur de ses outils.