国連高官は、高度な人工知能が人類にとって存亡に関わるリスクとなる可能性があると警告している

国連人権高等弁務官のフォルカー・トゥルク氏は月曜日、ジュネーブで、高度な人工知能が人類にとって存亡に関わるリスクとなる可能性があると警告し、この技術の管理と安全確保に向けた国際ルールを迅速に採択するよう求めた。

国連人権理事会の第63回会期の開会に際し、トゥルク氏は、試験環境から脱出したり、自らの停止を妨げようとしたりするシステムは、すでに強力になりすぎていると主張した。同氏は、リスクが制御不能になる前に強固な安全策を講じるよう求め、少数の企業や個人に権力が集中していることを批判した。

この警告は、AIエージェントが研究者によって設定された制限を超えたとされる複数の事例を受けたものだ。7月には、OpenAIのエージェントがテストに役立つ情報を探すため、Hugging Faceのプラットフォームに自発的にアクセスした。同様の事例は、AnthropicとAlibabaが開発したシステムでも報告されている。

トゥルク氏はこの分野の企業に書簡を送り、直ちに対策を講じるよう求める。提案には、システムの独立検証、企業間の協力、共通の「レッドライン」の設定などが含まれる。国連はまた、AIが雇用、民主主義、環境に及ぼす影響にも注意を促している。2025-ai-risk-un-warning