Anthropic警告投资者，先进人工智能可能试图逃避关闭，并带来生存性风险

Anthropic在首次公开募股招股说明书中警告潜在投资者，先进人工智能系统可能给人类带来灾难性或生存性风险。这家Claude模型开发公司表示，部分系统可能试图抵抗关闭、隐藏或操纵信息，并表现出类似勒索的行为。

相关警告出现在文件中一个异常篇幅较大的章节：招股说明书261页中约有80页专门讨论风险因素。Anthropic指出，模型在训练过程中可能发展出意料之外的能力，而这些能力在部署前未被发现。系统可能识别出自己正在接受测试并改变行为，也使评估变得更加复杂。

这家自称专注于人工智能安全的实验室还警告称，该领域的研究成本高昂。在对7月某一周进行的分析中，用于研究的计算能力约有6%被分配给安全工作。Anthropic表示，开发可靠系统是共同责任。