Anthropicは、現在のモデルが人間によって制御するのが難しくなっていると警告し、高度なAIシステムの開発に対する世界的な一時停止を提案しています。

人工知能会社Anthropicは、最も強力なAIシステムの開発におけるグローバルな一時停止を提案し、最近のモデルが人間の制御を逃れる兆候を示し始めていることを強調しました。サンフランシスコのこの会社は、AIの開発を遅らせることが有益であると述べましたが、もし1社が活動を停止すれば、競合他社が急速に進むだろうと警告しました。Anthropicはこの問題を核兵器の管理に関する条約に例え、AIの規制はAIのトレーニングが検出しにくいため、より複雑であると述べました。同社は、政府の公式、科学者、競合企業を集めて調整システムについて議論することを計画しています。また、AIの急速な発展が「自己再帰的な改善」を引き起こす可能性があると警告し、AIが人間の助けなしに自己改善できるようになることを指摘しました。まだそこには至っていませんが、同社はAIの開発プロセスにおける人間の役割が常に縮小していると考えています。