Die Forscher von SentinelOne und Censys weisen auf die zunehmenden Risiken im KI-Ökosystem hin, insbesondere auf große Open-Source-Sprachmodelle, die ohne Sicherheitsmaßnahmen funktionieren.

Das Problem ist nicht das Open-Source an sich, sondern dass die Schutzmaßnahmen absichtlich entfernt werden. Dies ermöglicht Angreifern, Systeme, die diese Modelle ausführen, zu kompromittieren und sie für Spam-Kampagnen, die Generierung von Fehlinformationen oder andere böswillige Aktivitäten zu nutzen, während sie die traditionellen Sicherheitskontrollen umgehen. Bei der Analyse von Hunderten von im Internet zugänglichen Instanzen entdeckten die Forscher, dass viele von ihnen auf beliebten Open-Source-Modellen basierten, wie den Llama-Varianten von Meta und Gemma von Google DeepMind, wobei die Sicherheitsmaßnahmen vollständig deaktiviert waren. Etwa 7,5 % der beobachteten Befehle hatten das Potenzial, ernsthaften Schaden zu verursachen, und 30 % dieser Systeme waren in China lokalisiert, während 20 % in den Vereinigten Staaten waren. Juan Andres Guerrero-Saade von SentinelOne wies darauf hin, dass die Diskussionen in der Branche oft dieses Problem ignorieren und dass die Verantwortung im Open-Source-AI-Bereich jetzt ein Diskussionsthema ist. Sicherheitsnetzwerke müssen zusammenarbeiten, um diese Risiken anzugehen, da sich Open-Source-Modelle weiterhin entwickeln und ausbreiten.