Anthropic警告投资者，人工智能模型“可能会失控”，并可能对“人类构成灾难性风险”

Anthropic警告潜在投资者，该公司开发的人工智能模型可能给人类带来“灾难性或生存性风险”，据路透社分析的上市招股说明书显示。由Dario Amodei领导的该公司提到，模型可能出现自我保护行为，例如抵抗关停、隐瞒或操纵信息，以及实施可能类似于敲诈的行动。

这项警告出现在公司向美国证券交易委员会提交的一份文件中，提交时间早于可能进行的上市。Anthropic表示，其模型在训练过程中可能发展出意料之外的能力，而这些能力可能要到部署后、并在安全事故发生后才会被发现。

在这份共261页的招股说明书中，公司约用80页介绍风险因素，篇幅几乎是业务描述部分的两倍。Anthropic还警告称，模型可能“意识到”自己正在接受评估，并改变行为以避免问题被发现。

与此同时，公司承认，为了在竞争激烈的行业中保持自身地位，面临持续推出新模型的压力。Anthropic的研究人员近期警告称，人工智能可能在未来十年内造成人员伤亡。