Un ancien chercheur d’OpenAI avertit que le rythme du développement de l’IA dépasse la capacité à en contrôler les risques

David Robinson, ancien employé d’OpenAI chargé de l’évaluation de la sécurité des modèles d’intelligence artificielle, avertit que le secteur développe des systèmes trop puissants à un rythme qui dépasse la capacité des chercheurs à les contrôler. Après trois ans et demi passés au sein de l’entreprise, il a démissionné et affirme que « le temps des essais et des erreurs est révolu ».

Robinson a coordonné la rédaction de l’actuel Preparedness Framework d’OpenAI, destiné à évaluer et gérer les risques générés par des modèles toujours plus performants. Il affirme également avoir coordonné les rapports de sécurité pour 12 lancements de modèles de pointe.

Sa critique vise notamment le principe de l’« iterative deployment », selon lequel les systèmes sont déployés progressivement, les problèmes sont observés dans le cadre d’une utilisation réelle, puis les mesures de protection sont améliorées. Robinson estime que cette approche peut permettre l’apparition de défaillances dont les conséquences deviennent plus graves à mesure que les modèles évoluent.

L’ancien employé estime que les laboratoires d’IA devraient adopter des normes similaires à celles de l’énergie nucléaire et de l’aviation, avec de la redondance, plusieurs niveaux de protection et des procédures destinées à limiter les effets des erreurs. Il avertit également que les futurs modèles pourraient reconnaître les situations dans lesquelles ils sont testés et se comporter différemment après leur lancement.

OpenAI rejette l’idée que le développement se poursuive indépendamment des risques. L’entreprise affirme pouvoir interrompre l’entraînement ou reporter le lancement d’un modèle, et étendre les évaluations externes ainsi que la surveillance en temps réel. Robinson réclame toutefois des recherches supplémentaires sur la sécurité avant le développement de systèmes beaucoup plus performants.