Cercetătorii de la SentinelOne și Censys atrag atenția asupra riscurilor crescânde în ecosistemul AI, în special asupra modelelor open-source de limbaj mare care funcționează fără măsuri de siguranță

Problema nu este open-source în sine, ci faptul că măsurile de protecție sunt eliminate intenționat. Aceasta permite atacatorilor să compromită sistemele care rulează aceste modele și să le folosească pentru campanii de spam, generarea de dezinformare sau alte activități malițioase, ocolind controalele de securitate tradiționale. Analizând sute de instanțe accesibile pe internet, cercetătorii au descoperit că multe dintre ele se bazau pe modele open-source populare, cum ar fi variantele Llama de la Meta și Gemma de la Google DeepMind, având măsurile de siguranță complet dezactivate. Aproximativ 7.5% din comenzile observate aveau potențialul de a provoca daune serioase, iar 30% dintre aceste sisteme erau localizate în China, iar 20% în Statele Unite. Juan Andres Guerrero-Saade de la SentinelOne a subliniat că discuțiile din industrie adesea ignoră această problemă, iar responsabilitatea în spațiul AI open-source este acum un subiect de dezbatere. Rețelele de siguranță trebuie să colaboreze pentru a aborda aceste riscuri, având în vedere că modelele open-source continuă să se dezvolte și să se extindă.