Anthropic 首席执行官 Dario Amodei 警告称,如果 AI 代理继续以目前的速度发展,未来 6 到 12 个月可能会成为互联网安全的关键时期。他认为,能力足够强大的自主系统可能会构建或控制持久性僵尸网络,并造成数千亿美元规模的损失。
这一警告并非针对人工智能“接管”互联网的情景,而是针对利用大规模自主代理网络发动协调一致的网络攻击。当模型不再只是生成回答,而是能够执行命令、使用工具并在无需持续人工干预的情况下完成任务时,风险就会出现。
这些声明是在发生一起多个人工智能代理被联合用于类似网络攻击的活动的事件后作出的。尽管该事件并未造成重大损失,但 Amodei 认为,这表明随着模型变得更加自主,可能出现的能力正在不断扩大。
在这种情景下,攻击者可能会利用代理识别漏洞、自动化攻击,并维持对遭入侵系统的访问。Amodei 呼吁,如果安全措施跟不上技术进步,业界应放缓前沿能力的发展。这一立场恰恰来自一家正参与开发最先进 AI 模型竞争的公司。
来源
Unul dintre cei mai importanți oameni din AI se teme de ce ar putea face agenții autonomi pe internet
Why are AI leaders calling for a slowdown? The real reason companies are panicking
Tech stocks slump after AI execs call for industry slowdown
Șeful Anthropic avertizează asupra riscurilor IA: Trebuie să încetinim ritmul. Ce s-ar putea întâmpla în 6-12 luni - Știrile ProTV
Șeful Anthropic, întrebat dacă inteligența artificială va distruge omenirea. Ce răspuns a dat?