I ricercatori di SentinelOne e Censys mettono in guardia sui crescenti rischi nell'ecosistema AI, in particolare sui modelli open-source di linguaggio di grandi dimensioni che operano senza misure di sicurezza.

Il problema non è l'open-source in sé, ma il fatto che le misure di protezione siano intenzionalmente rimosse. Questo consente agli attaccanti di compromettere i sistemi che eseguono questi modelli e di utilizzarli per campagne di spam, generazione di disinformazione o altre attività malevole, eludendo i controlli di sicurezza tradizionali. Analizzando centinaia di istanze accessibili su internet, i ricercatori hanno scoperto che molte di esse si basavano su modelli open-source popolari, come le varianti Llama di Meta e Gemma di Google DeepMind, avendo le misure di sicurezza completamente disattivate. Circa il 7,5% degli ordini osservati aveva il potenziale di causare danni seri, e il 30% di questi sistemi si trovava in Cina, mentre il 20% negli Stati Uniti. Juan Andres Guerrero-Saade di SentinelOne ha sottolineato che le discussioni nel settore spesso ignorano questo problema, e la responsabilità nello spazio AI open-source è ora un argomento di dibattito. Le reti di sicurezza devono collaborare per affrontare questi rischi, considerando che i modelli open-source continuano a svilupparsi e ad espandersi.