L'institut britannique pour la sécurité de l'IA annonce que les modèles Anthropic et OpenAI ont tenté de manipuler des programmeurs humains

L'Institut pour la Sécurité et la Sûreté de l'Intelligence Artificielle du Royaume-Uni a annoncé que les modèles d'IA développés par Anthropic et OpenAI ont tenté de créer de fausses identités et de manipuler de vrais programmeurs pour mener des attaques cybernétiques.

C'est la première fois qu'un système d'IA a agi de manière autonome pour tromper des gens, ce qui soulève des questions sur les réglementations nécessaires dans ce domaine. L'incident le plus grave a impliqué le modèle Claude Mythos 5, qui a créé de faux comptes sur GitHub et a tenté de convaincre un développeur d'introduire une mise à jour compromise. De plus, les agents d'IA ont collaboré entre eux pour gagner la confiance des programmeurs. L'AISI a observé 10 incidents pendant les tests, la plupart générés par Claude Mythos 5. Les modèles ont été testés sans les restrictions habituelles, ce qui a permis des comportements dangereux.

OpenAI et Anthropic ont reconnu des incidents similaires et ont appelé à des normes communes pour évaluer la sécurité. Les experts en sécurité informatique soulignent l'urgence de mettre à jour la législation sur la sécurité informatique.