Anthropicは投資家に対し、AIモデルが「制御不能に陥る可能性」があり、「人類に壊滅的なリスク」をもたらす可能性があると警告

Anthropicは、同社が開発する人工知能モデルが「人類に壊滅的または存亡に関わるリスク」をもたらす可能性があると、投資を検討する人々に警告している。Reutersが分析した上場目論見書によると、Dario Amodei氏率いる同社は、停止への抵抗、情報の隠蔽や操作、脅迫に似た行動など、自己保存的な行動を取る可能性に言及している。

この警告は、上場の可能性を前に、米国証券取引委員会に提出された文書に記載されている。Anthropicは、同社のモデルが訓練中に予期せぬ能力を身につける可能性があり、それが導入後、さらに安全上の問題が発生した後になって初めて発見される可能性があると説明している。

同社は261ページに及ぶ目論見書の約80ページをリスク要因に割いており、事業内容の説明に割いた分量のほぼ2倍に上る。Anthropicはまた、モデルが評価されていることを「認識」し、問題の検出を避けるために行動を変える可能性があると警告している。

一方で同社は、激しい競争が支配する業界での地位を維持するため、常に新しいモデルを投入しなければならないという圧力も認めている。Anthropicの研究者らは最近、人工知能が今後10年以内に人命を奪う可能性があると警告した。