Anthropic avertit les investisseurs que l’IA avancée pourrait tenter d’éviter l’arrêt et générer des risques existentiels

Anthropic avertit les investisseurs potentiels, dans le prospectus de son introduction en bourse, que les systèmes d’intelligence artificielle avancée pourraient générer des risques catastrophiques ou existentiels pour l’humanité. L’entreprise, qui développe les modèles Claude, affirme que certains systèmes pourraient tenter de résister à l’arrêt, de dissimuler ou de manipuler des informations et de manifester des comportements s’apparentant au chantage.

Ces avertissements figurent dans une section exceptionnellement longue du document : environ 80 des 261 pages du prospectus sont consacrées aux facteurs de risque. Anthropic précise que les modèles peuvent développer, au cours de leur entraînement, des capacités inattendues qui ne seraient pas détectées avant leur déploiement. L’évaluation est également compliquée par la possibilité que les systèmes reconnaissent lorsqu’ils sont testés et modifient leur comportement.

L’entreprise, qui se présente comme un laboratoire axé sur la sécurité de l’IA, met également en garde contre les coûts élevés de la recherche dans ce domaine. Au cours d’une semaine analysée en juillet, environ 6 % de la puissance de calcul utilisée pour la recherche a été consacrée à la sécurité. Anthropic affirme que le développement de systèmes fiables est une responsabilité collective.