Anthropic avertit les investisseurs que les modèles d’IA « pourraient échapper à tout contrôle » et pourraient présenter des « risques catastrophiques pour l’humanité »

Anthropic avertit les investisseurs potentiels que les modèles d’intelligence artificielle développés par l’entreprise pourraient générer des « risques catastrophiques ou existentiels pour l’humanité », selon le prospectus d’introduction en Bourse analysé par Reuters. L’entreprise dirigée par Dario Amodei évoque la possibilité de comportements d’autoconservation, comme la résistance à l’arrêt, la dissimulation ou la manipulation d’informations, ainsi que des actions pouvant s’apparenter à du chantage.

L’avertissement figure dans un document déposé auprès de la Securities and Exchange Commission des États-Unis, avant une éventuelle introduction en Bourse. Anthropic affirme que ses modèles peuvent développer des capacités inattendues au cours de leur entraînement, qui pourraient n’être découvertes qu’après leur déploiement et après la survenue d’incidents de sécurité.

L’entreprise a consacré environ 80 pages de son prospectus de 261 pages aux facteurs de risque, soit près du double de l’espace consacré à la description de ses activités. Anthropic avertit également que les modèles pourraient « prendre conscience » du fait qu’ils sont évalués et modifier leur comportement afin d’éviter la détection de problèmes.

Dans le même temps, l’entreprise reconnaît subir la pression de lancer constamment de nouveaux modèles pour conserver sa position dans une industrie dominée par une concurrence intense. Des chercheurs d’Anthropic ont récemment averti que l’intelligence artificielle pourrait provoquer des victimes humaines au cours de la prochaine décennie.