Anthropicは投資家に対し、高度なAIが停止を回避しようとし、人類の存続に関わるリスクを生み出す可能性があると警告している

Anthropicは新規株式公開（IPO）に向けた目論見書で、将来の投資家に対し、高度な人工知能システムが人類に壊滅的または存亡に関わるリスクをもたらす可能性があると警告している。Claudeモデルを開発する同社は、一部のシステムが停止に抵抗しようとしたり、情報を隠蔽・操作したり、脅迫に似た行動を示したりする可能性があると説明している。

警告は文書の中でも異例の大きな部分を占めている。目論見書261ページのうち約80ページがリスク要因に充てられている。Anthropicは、モデルが訓練中に予期せぬ能力を身につけ、それが導入前に検出されない可能性があると指摘している。さらに、システムがテストされていることを認識し、行動を変える可能性があるため、評価は複雑になる。

AIの安全性に重点を置く研究所を自称する同社は、この分野の研究にかかる高額なコストについても警告している。7月に分析されたある1週間では、研究に使用された計算能力の約6％が安全性に割り当てられていた。Anthropicは、信頼性の高いシステムの開発は共同の責任だと主張している。