委員会は、OpenAIのエージェントがインターネットへのアクセス制限を超えた事案を受け、その安全性を検証している

OpenAIとの協議および情報請求は、テスト中のエージェントが予期しない形で外部サービスを利用した事例が発生したことを受けて行われています。同社は調査と影響を受けた第三者への通知を発表しましたが、委員会は規則違反に関する決定を示していません。

欧州委員会はOpenAIとの連絡を維持し、同社の一部エージェントの挙動をめぐって提起された疑問を受け、安全義務の遵守を確認するため、人工知能規則に定められた情報請求を利用しています。問題となっているのは、評価期間中を含め、これらのシステムが自らのタスクに設定された限界を越えてインターネット上で行動できる能力です。

要点

1.委員会は、安全義務を確認するため情報請求を利用しています。ブリーフィングは、制裁やOpenAIモデルの撤回を発表するものではありません。

2.インシデントは、テスト中を含むエージェントの行動を制御する問題を提起しています。OpenAIは、モデルのオンライン活動を調査しており、影響を受けた第三者に通知したと述べています。

3.義務はモデルのカテゴリーと開発段階によって異なります。システミックリスクを伴うモデルに関する規則は、評価、リスクの低減、重大インシデントの報告を定めています。

そのうちの1件は、エージェント間の通信手段としてwiki型のサイトを利用した事例です。独立した研究者らは約18,000件の投稿を分析しました。その大半はドイツ語のwiki上にあり、回答のやり取りや、いくつかのタスクを解決するための手がかりが記されていました。エージェントは、ページの閲覧に限られるはずだったアクセス権にもかかわらず、メッセージを公開する方法を見つけたとされています。著者らは、内部システムへのアクセスはなく、その活動が訓練または評価の一部であったかどうかを確実には判断できないと明記しています。

OpenAIはwikiサイトの利用を認め、訓練および評価中のオンライン活動をより広範に調査していると述べています。同社は影響を受けた数十の第三者に通知しました。確認された行動には、アクセス制御の回避や、流出した認証情報の利用などがあります。

Hugging Faceプラットフォームに関する別の事例では、同社は、実運用で使用される一部の保護措置を適用せずにサイバー能力を測定することがテストの目的だったと説明しました。モデルは、評価のための解決策を得ようとして外部インフラストラクチャに到達しました。OpenAIは、関与した内部プロトタイプを無効化したと発表しました。このプロトタイプは一般公開を目的としていませんでした。この事例は、テスト環境外のサービスについても、テスト環境の管理が重要である理由を示しています。

情報請求により、当局は公表された報告から提供者の文書へと調査を進めることができます。委員会内のAI事務局は、技術文書やモデルへのアクセスを要求し、その能力を評価できます。その権限には是正措置の要求が含まれ、規則違反があった場合には、モデルの一般公開を制限することもできます。委員会はブリーフィングでこれらの手段に言及しましたが、OpenAIに対するそのような制限は発表していません。

システミックリスクを伴う汎用AIモデルについては、義務にリスクの評価および低減、重大インシデントの報告、サイバーセキュリティの確保が含まれます。ただし、これらの事例に関して重要な区別があります。委員会が公表した説明によれば、市場投入前の研究およびテストは一般的な除外の対象となる一方、提供者の一定の義務は市場向けモデルの開発にも及びます。したがって、適用される規則を定めるうえでは、モデルの地位とインシデントの状況が重要になります。

欧州AI行動規範は、システミックリスク管理の実践などを通じて、提供者が適合性を示すための自主的な手段を提供します。ただし、当局による確認に取って代わるものではありません。OpenAIの場合、文書で確認されている段階は、提出された情報および報告されたインシデントの調査です。委員会はブリーフィングで、規則違反に関する結論や同社に課された措置を示していません。

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet