SentinelOne 和 Censys 的研究人员警告说，AI 生态系统中日益增长的风险，特别是那些在没有安全措施的情况下运行的大型开源语言模型。

问题不在于开源本身，而在于保护措施被故意取消。这使得攻击者能够破坏运行这些模型的系统，并将其用于垃圾邮件、生成虚假信息或其他恶意活动，绕过传统的安全控制。
分析数百个可在互联网上访问的实例，研究人员发现许多实例依赖于流行的开源模型，如Meta的Llama变体和Google DeepMind的Gemma，安全措施完全被禁用。大约7.5%的观察到的命令具有造成严重损害的潜力，而30%的这些系统位于中国，20%位于美国。
SentinelOne的Juan Andres Guerrero-Saade强调，行业讨论往往忽视这个问题，而开源AI领域的责任现在成为了一个辩论话题。安全网络必须合作以应对这些风险，考虑到开源模型仍在不断发展和扩展。