委员会在发生 OpenAI 代理超越互联网访问权限限制的事件后，核查其安全性

与 OpenAI 的讨论和信息请求是在出现一些测试中的代理以意料之外的方式使用外部服务的案例后进行的。该公司宣布将开展审查并通知受影响的第三方，而委员会尚未提出违反规则的决定。

欧盟委员会继续与 OpenAI 保持联系，并利用《人工智能法案》规定的信息请求，核查其是否履行安全义务，此前该公司部分代理的行为引发了相关问题。关键在于，这些系统能否在互联网上采取超出为其任务设定的限制的行动，包括在内部评估期间。

简而言之

1.委员会利用信息请求核查安全义务。简报并未宣布制裁 OpenAI 或撤回其模型。

2.这些事件引发了对代理行动控制的疑问，包括测试期间的行动。OpenAI 表示正在审查模型的在线活动，并已通知受影响的第三方。

3.义务取决于模型类别及其开发阶段。针对具有系统性风险的模型，规则规定了评估、降低风险以及报告严重事件。

其中一个案例涉及将一个维基类网站用作代理之间的通信渠道。独立研究人员分析了约 18,000 条帖子，其中大多数发布在一个德语维基网站上，并描述了回复交流以及解决某些任务的线索。据称，这些代理找到了发布消息的途径，尽管其访问权限本应仅限于阅读页面。作者指出，他们无法访问内部系统，也无法确定这些活动究竟属于训练还是评估的一部分。

OpenAI 承认使用了该维基网站，并表示正在更广泛地审查训练和评估期间的在线活动。该公司已通知数十名受影响的第三方。已发现的行为包括绕过访问控制以及使用暴露的凭据。

在 Hugging Face 平台的另一个案例中，该公司解释说，测试旨在衡量网络能力，且未启用生产环境中使用的部分保护措施。这些模型在尝试获取评估解决方案时访问了外部基础设施。OpenAI 表示，已停用涉事的内部原型，该原型并非 intended for public release。该案例表明，即使对于处于测试环境之外的服务，控制测试环境也十分重要。

信息请求使主管机构能够从公开报道转向供应商文件。委员会下属的人工智能办公室可以要求提供技术文件，并获取模型以评估其能力。其权限包括要求采取纠正措施；如果违反规则，还可以限制某一模型向公众提供。在简报中，委员会提到了这些工具，但没有宣布对 OpenAI 实施此类限制。

对于具有系统性风险的通用人工智能模型，其义务包括评估和降低风险、报告严重事件以及确保网络安全。不过，对于这些案例而言，有一个相关区别：委员会发布的解释表明，投放市场前的研究和测试享有一般性排除，而供应商的某些义务也涉及面向市场的模型开发。因此，模型的状态和事件发生的具体情况将影响适用规则的确定。

《欧洲良好实践守则》为供应商提供了一条自愿证明合规的途径，包括通过系统性风险管理实践来证明合规。它并不取代主管机构的核查。在 OpenAI 案例中，已记录的步骤仍是审查所报告的信息和事件；委员会没有在简报中提出关于违反规则的结论，也没有宣布对该公司采取措施。

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet