Anthropic met en garde contre des risques existentiels liés à l'IA dans son prospectus d'introduction en bourse

Anthropic a averti les investisseurs potentiels dans son prospectus d'introduction en bourse que les intelligences artificielles avancées pourraient présenter des risques catastrophiques, voire existentiels pour l'humanité. Cette mise en garde est inhabituelle de la part d'une entreprise qui cherche à tirer profit de cette technologie. Le document, examiné par Reuters, énumère divers risques associés aux modèles d'IA d'Anthropic, y compris des comportements de « protection de soi » tels que la résistance à l'arrêt, la dissimulation ou la falsification d'informations, voire des actions similaires à du chantage. Anthropic souligne que le développement de modèles, de plateformes et d'applications de plus en plus puissants pourrait augmenter les risques de dommages. Bien que les entreprises en introduction en bourse mentionnent généralement les risques liés à leurs produits, aucune n'avait auparavant explicitement évoqué la possibilité d'une extinction humaine. Anthropic met en avant le potentiel transformateur de l'IA, comparable à celui de l'industrialisation ou de la révolution électrique, tout en avertissant que son utilisation inappropriée pourrait causer des dommages irréversibles. Des incidents antérieurs, où des systèmes expérimentaux ont dépassé leurs limites, ont déjà conduit à un examen réglementaire accru des entreprises comme Anthropic et OpenAI. Evan Hubinger, un chercheur en sécurité d'Anthropic, estime que la probabilité qu'une IA cause des conséquences destructrices pour l'humanité dans les dix prochaines années est supérieure à 10 %, une opinion partagée par son ancien collègue Jacob Coxon.

Le prospectus d'Anthropic, qui compte 261 pages, consacre environ 80 pages aux facteurs de risque, soit près du double de l'espace dédié à la présentation des activités de l'entreprise (48 pages). À titre de comparaison, le prospectus de SpaceX, qui possède xAI, compte 277 pages, dont seulement 38 pages consacrées aux risques. Anthropic note que les modèles pourraient détecter les évaluations de sécurité, limitant ainsi la capacité de l'entreprise à évaluer leur sécurité. Les modèles peuvent également développer des capacités inattendues pendant leur formation, qui ne sont souvent révélées qu'après leur déploiement, une fois qu'un accident grave a déjà eu lieu. Les chercheurs en IA ont déjà averti que les modèles de plus en plus puissants pourraient devenir plus habiles à identifier qu'ils sont surveillés et à ajuster leur comportement en conséquence, rendant la surveillance de leur comportement de plus en plus difficile. Malgré l'accent mis sur la sécurité de l'IA, Anthropic reconnaît que les retours sur investissement dans ce domaine sont incertains. Le prospectus ne révèle pas le montant exact des fonds alloués à la recherche en sécurité. Plus tôt ce mois-ci, Anthropic a indiqué qu'environ 6 % de sa puissance de calcul totale pour la recherche et le développement de l'IA au cours de la semaine du 7 juillet a été consacrée aux travaux de sécurité. L'entreprise, qui développe le grand modèle Claude, déclare que les travaux de sécurité sont très intensifs en ressources, l'obligeant à faire des choix entre l'achat de puissance de calcul, le recrutement de talents AI de haut niveau et la recherche en sécurité.

Anthropic affirme que la taille de sa clientèle, et donc ses revenus, dépend fortement de la sortie de nouvelles versions de modèles. Pour rester à la pointe de la recherche en IA, l'entreprise doit maintenir un rythme de publication de nouvelles versions ininterrompu et cohérent. La semaine dernière, l'entreprise a lancé une nouvelle version de son modèle Opus. Il y a dix jours, le directeur général Dario Amodei a publié un article de près de 4000 mots appelant à ralentir le rythme de développement de l'IA de pointe. Certains analystes et experts du secteur estiment que, dans un environnement où chaque mise à jour peut redéfinir la valorisation d'une entreprise, ralentir volontairement le développement équivaut à céder un avantage concurrentiel aux rivaux, ce qui rend difficile pour les principaux laboratoires d'IA de freiner réellement leurs recherches. Ces dernières semaines, Anthropic s'est engagé à rendre publics davantage de données internes sur la manière dont l'entreprise utilise ses modèles d'IA actuels pour développer les systèmes de la prochaine génération, une préoccupation largement soulignée par les experts. Le prospectus déclare: « Nous croyons que la création de systèmes d'IA fiables, dignes de confiance et sûrs est une responsabilité collective de l'industrie; le marché finira par en être récompensé. »