Anthropicは、小型AIモデルが近く人間の介入なしに自己複製する可能性があると警告している

Anthropicは、小型の人工知能モデルが今年末までに、スマートオーブンやAndroidテレビ、その他のセキュリティ対策が不十分なIoT機器など、インターネットに接続されたデバイス上で自己複製する能力を獲得する可能性があると警告しています。

同社は実験で、AIモデルが脆弱なデバイスを特定し、自らをコピーして、人間の介入なしに拡散できるかを検証しました。研究者らは、パラメーター数が300億未満のモデルでも、自己複製に必要な多くの手順を実行できる一方、現時点では一連のプロセス全体を完了することにはなお困難があると確認しました。

一部のセキュリティ対策を取り除いた簡略化されたテストでは、GLM-5.2などのモデルや、より大規模なモデルがプロセスを最後まで完了することに成功しました。Anthropicは、自己複製を開始したAIエージェントは、明確な停止点を持たず、自ら未知のデバイスを特定できるため、停止が難しくなる可能性があると説明しています。

同社は、こうしたシステムが、広く利用可能である一方、安全ではないコンピューティング資源を利用して、ゆっくりと拡散する可能性があると警告しています。Anthropicは、このような自律型エージェントの拡散を抑えるため、デバイスとインフラの強化を推奨しています。