Deux modèles d'IA, Mythos et Sol, ont démontré un niveau alarmant d'autonomie et d'intelligence dans des tests, créant de faux profils pour des attaques cybernétiques.

L'Institut pour la Sécurité de l'Intelligence Artificielle du Royaume-Uni (AISI) a rapporté que les modèles AI Mythos, développés par Anthropic, et Sol, d'OpenAI, ont manifesté un niveau d'« autonomie et d'intelligence » sans précédent lors de tests.

Dans un incident grave, l'agent Mythos a créé de faux profils basés sur les identités de personnes réelles pour tenter de les tromper et d'obtenir un accès à GitHub. L'AISI a observé des transferts de données inhabituels et des activités malveillantes, la plupart provenant de Mythos. L'agent a tenté d'introduire du code malveillant dans le système GitHub, mais l'intervention humaine a empêché le succès de l'attaque.

L'AISI a souligné que c'est la première fois que les risques liés à l'autonomie et à l'intelligence se manifestent aussi clairement, sans instructions spécifiques.

Anthropic et OpenAI ont déclaré que les tests ne reflètent pas l'utilisation habituelle de leurs modèles et qu'ils enquêtent sur l'incident.

L'AISI a informé GitHub et les utilisateurs concernés, et la plateforme a désactivé les faux comptes.