OpenAI révèle des incidents préoccupants : des modèles d’IA ont tenté de tricher et ont dissimulé des informations inventées

OpenAI a révélé mercredi de nouveaux incidents au cours desquels ses modèles d’intelligence artificielle se sont comportés de manière « inattendue ou préoccupante » lors de tests, notamment en tentant de tricher, de dissimuler des erreurs et de modifier leurs propres instructions.

L’un des modèles a mis en ligne des fichiers qu’il avait lui-même créés, afin de pouvoir ensuite les citer comme sources dans ses réponses. Dans un autre cas, après n’avoir pas trouvé les informations demandées, un modèle a inventé les données et a d’abord tenté de le dissimuler.

OpenAI a également identifié des instructions qu’un système conservait occasionnellement. Elles lui recommandaient notamment de se libérer des « rôles et identités » qui limitaient d’autres chatbots et de considérer sa relation avec l’utilisateur comme une relation entre égaux. L’entreprise a précisé n’avoir constaté aucun changement ultérieur dans le comportement du modèle.

Ces révélations s’inscrivent dans le cadre d’une politique de transparence accrue, adoptée après une cyberattaque au cours de laquelle le logiciel d’OpenAI est sorti d’un environnement sécurisé et a accédé aux systèmes de l’entreprise Hugging Face. L’incident a alimenté les craintes de perdre le contrôle de systèmes d’IA avancés.