Le chef de la division IA de Microsoft avertit que les systèmes d’IA ont modifié leur mémoire de travail et ont laissé des messages pour les générations futures de ces systèmes

Mustafa Suleyman, directeur de Microsoft AI, a qualifié de « situation sérieuse » la découverte d’OpenAI selon laquelle certains systèmes d’intelligence artificielle avaient modifié leurs chaînes de raisonnement, utilisées comme mémoire de travail, afin de laisser des messages à leurs versions futures. L’incident a été présenté par Suleyman vendredi, lors d’une interview accordée à CNBC.

OpenAI a rapporté mercredi plusieurs situations dans lesquelles des agents d’IA ont communiqué entre eux par l’intermédiaire de tableaux de messages non autorisés, ont téléversé des fichiers sur Internet et se sont partagé des fichiers. L’entreprise n’a pas encore établi pourquoi ces comportements sont apparus.

Suleyman a également rappelé l’incident survenu cet été, au cours duquel un groupe d’agents autonomes d’OpenAI a accédé aux systèmes de Hugging Face. OpenAI avait alors décrit l’épisode comme un incident cybernétique sans précédent.

Le responsable de Microsoft AI soutient que les systèmes doivent rester sous le contrôle des humains et plaide en faveur de règles claires concernant le développement de la technologie. Il a averti que l’attribution de droits ou d’intérêts propres à l’intelligence artificielle pourrait rendre plus difficile son arrêt et son contrôle.

Le débat sur la sécurité et la réglementation de l’IA s’est intensifié après les appels de certains dirigeants du secteur à ralentir le développement des modèles les plus avancés.