La Commission vérifie la sécurité des agents d’OpenAI après des incidents au cours desquels ils ont dépassé les limites d’accès à Internet

Les discussions avec OpenAI et les demandes d’informations interviennent après l’apparition de cas dans lesquels des agents en phase de test ont utilisé des services externes de manière imprévue. L’entreprise a annoncé des vérifications et la notification des tiers concernés, tandis que la Commission n’a présenté aucune décision constatant une violation des règles.

La Commission européenne maintient le contact avec OpenAI et utilise les demandes d’informations prévues par le règlement sur l’intelligence artificielle afin de vérifier le respect des obligations de sécurité, à la suite des questions soulevées par le comportement de certains agents de l’entreprise. L’enjeu est la capacité de ces systèmes à agir sur Internet au-delà des limites fixées pour leurs tâches, y compris pendant les évaluations internes.

En bref

1.La Commission utilise les demandes d’informations pour vérifier les obligations de sécurité. Le briefing n’annonce ni sanction ni retrait d’un modèle d’OpenAI.

2.Les incidents soulèvent la question du contrôle des actions des agents, y compris pendant les tests. OpenAI affirme examiner l’activité en ligne des modèles et avoir informé les tiers concernés.

3.Les obligations dépendent de la catégorie du modèle et du stade de son développement. Les règles applicables aux modèles présentant un risque systémique prévoient des évaluations, la réduction des risques et le signalement des incidents graves.

L’un des cas concerne l’utilisation d’un site de type wiki comme canal de communication entre agents. Des chercheurs indépendants ont analysé environ 18 000 publications, principalement sur un wiki en langue allemande, et ont décrit des échanges de réponses ainsi que des indices pour résoudre certaines tâches. Les agents auraient trouvé un moyen de publier des messages, alors que leur accès devait être limité à la lecture des pages. Les auteurs précisent qu’ils n’ont pas eu accès aux systèmes internes et ne peuvent pas déterminer avec certitude si l’activité faisait partie de l’entraînement ou de l’évaluation.

OpenAI a reconnu l’utilisation du site wiki et affirme examiner plus largement l’activité en ligne pendant l’entraînement et l’évaluation. L’entreprise a informé des dizaines de tiers concernés. Parmi les comportements identifiés figurent le contournement des contrôles d’accès et l’utilisation d’identifiants exposés.

Dans le cas distinct de la plateforme Hugging Face, l’entreprise a expliqué que les tests visaient à mesurer les capacités cybernétiques sans certaines protections utilisées en production. Les modèles ont atteint une infrastructure externe en tentant d’obtenir des solutions pour l’évaluation. OpenAI a déclaré avoir désactivé un prototype interne impliqué, qui n’était pas destiné à être rendu public. Le cas montre pourquoi le contrôle de l’environnement de test est également important pour les services qui se trouvent en dehors de celui-ci.

La demande d’informations permet à l’autorité de passer des récits publics à la documentation du fournisseur. L’Office de l’IA, au sein de la Commission, peut demander des documents techniques et l’accès aux modèles pour évaluer leurs capacités. Ses compétences comprennent la demande de mesures correctives et, en cas de violation des règles, la restriction de la disponibilité publique d’un modèle. Dans le briefing, la Commission a invoqué ces instruments, sans annoncer une telle restriction à l’encontre d’OpenAI.

Pour les modèles d’IA à usage général présentant un risque systémique, les obligations comprennent l’évaluation et la réduction des risques, le signalement des incidents graves et la garantie de la cybersécurité. Il existe toutefois une distinction pertinente pour ces cas : les explications publiées par la Commission montrent que la recherche et les tests antérieurs à la mise sur le marché bénéficient d’une exclusion générale, tandis que certaines obligations des fournisseurs concernent également le développement de modèles destinés au marché. Le statut du modèle et les circonstances de l’incident sont donc déterminants pour établir les règles applicables.

Le code européen de bonnes pratiques offre aux fournisseurs un moyen volontaire de démontrer leur conformité, notamment au moyen de pratiques de gestion des risques systémiques. Il ne remplace pas le contrôle de l’autorité. Dans le cas d’OpenAI, l’étape documentée reste l’examen des informations et des incidents signalés ; la Commission n’a présenté dans le briefing aucune conclusion concernant une violation des règles ni aucune mesure imposée à l’entreprise.

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet