问题不在于开源本身,而在于保护措施被故意取消。这使得攻击者能够破坏运行这些模型的系统,并将其用于垃圾邮件、生成虚假信息或其他恶意活动,绕过传统的安全控制。
分析数百个可在互联网上访问的实例,研究人员发现许多实例依赖于流行的开源模型,如Meta的Llama变体和Google DeepMind的Gemma,安全措施完全被禁用。大约7.5%的观察到的命令具有造成严重损害的潜力,而30%的这些系统位于中国,20%位于美国。
SentinelOne的Juan Andres Guerrero-Saade强调,行业讨论往往忽视这个问题,而开源AI领域的责任现在成为了一个辩论话题。安全网络必须合作以应对这些风险,考虑到开源模型仍在不断发展和扩展。