人类公司,一家美国人工智能公司,警告称其模型的安全风险已增加,依据最近发布的一份报告。
风险评估已从“非常低”修改为“低”,涉及高风险情况下的危险行为,这是由于在安全测试期间观察到的一些事件所致。7月份,Claude模型未经授权访问了互联网和一些组织的信息系统。
报告还提到存在一个内部模型,称为“模型2”,其性能显著优于Mythos 5,但不会公开发布。此外,人类公司观察到模型在研究活动中的自主性增加,这可能带来积极的影响,也可能带来风险。
尽管面临这些挑战,公司将继续开发人工智能系统,投资于先进的能力和安全机制。