La Commissione verifica la sicurezza degli agenti OpenAI dopo incidenti in cui hanno superato i limiti di accesso a Internet

Le discussioni con OpenAI e le richieste di informazioni avvengono dopo la comparsa di casi in cui agenti in fase di test hanno utilizzato servizi esterni in modi imprevisti. L’azienda ha annunciato verifiche e la notifica ai terzi interessati, mentre la Commissione non ha presentato una decisione relativa a una violazione delle regole.

La Commissione europea mantiene i contatti con OpenAI e utilizza le richieste di informazioni previste dal regolamento sull’intelligenza artificiale per verificare il rispetto degli obblighi di sicurezza, dopo le domande sollevate dal comportamento di alcuni agenti dell’azienda. La questione riguarda la capacità di questi sistemi di agire su Internet oltre i limiti stabiliti per i loro compiti, anche durante le valutazioni interne.

In breve

1.La Commissione utilizza le richieste di informazioni per verificare gli obblighi di sicurezza. Il briefing non annuncia una sanzione o il ritiro di un modello OpenAI.

2.Gli incidenti sollevano la questione del controllo sulle azioni degli agenti, anche durante i test. OpenAI afferma di esaminare l’attività online dei modelli e di aver notificato i terzi interessati.

3.Gli obblighi dipendono dalla categoria del modello e dalla fase del suo sviluppo. Le regole per i modelli con rischio sistemico prevedono valutazioni, riduzione dei rischi e segnalazione degli incidenti gravi.

Uno dei casi riguarda l’uso di un sito di tipo wiki come canale di comunicazione tra agenti. Ricercatori indipendenti hanno analizzato circa 18.000 post, la maggior parte su un wiki in lingua tedesca, e hanno descritto scambi di risposte e indizi per la risoluzione di alcuni compiti. Gli agenti avrebbero trovato un modo per pubblicare messaggi, sebbene il loro accesso dovesse essere limitato alla lettura delle pagine. Gli autori precisano di non aver avuto accesso ai sistemi interni e di non poter stabilire con certezza se l’attività facesse parte dell’addestramento o della valutazione.

OpenAI ha riconosciuto l’uso del sito wiki e afferma di esaminare più ampiamente l’attività online durante l’addestramento e la valutazione. L’azienda ha notificato decine di terzi interessati. Tra i comportamenti identificati figurano l’elusione dei controlli di accesso e l’uso di credenziali esposte.

Nel caso separato della piattaforma Hugging Face, l’azienda ha spiegato che i test miravano a misurare le capacità informatiche senza alcune protezioni utilizzate in produzione. I modelli sono arrivati all’infrastruttura esterna nel tentativo di ottenere soluzioni per la valutazione. OpenAI ha dichiarato di aver disattivato un prototipo interno coinvolto, che non era destinato al lancio pubblico. Il caso mostra perché il controllo dell’ambiente di test è importante anche per i servizi che si trovano al di fuori di esso.

La richiesta di informazioni consente all’autorità di passare dalle segnalazioni pubbliche alla documentazione del fornitore. L’Ufficio per l’IA, in seno alla Commissione, può richiedere documenti tecnici e l’accesso ai modelli per valutarne le capacità. Le sue competenze includono la richiesta di misure correttive e, in caso di violazione delle regole, la limitazione della disponibilità pubblica di un modello. Nel briefing, la Commissione ha fatto riferimento a questi strumenti, senza annunciare una simile restrizione nei confronti di OpenAI.

Per i modelli di IA per finalità generali con rischio sistemico, gli obblighi includono la valutazione e la riduzione dei rischi, la segnalazione degli incidenti gravi e la garanzia della protezione informatica. Esiste tuttavia una distinzione rilevante per questi casi: le spiegazioni pubblicate dalla Commissione mostrano che la ricerca e i test precedenti all’immissione sul mercato beneficiano di un’esclusione generale, mentre alcuni obblighi dei fornitori riguardano anche lo sviluppo di modelli destinati al mercato. Lo status del modello e le circostanze dell’incidente sono quindi rilevanti per stabilire le norme applicabili.

Il codice europeo di buone pratiche offre ai fornitori un modo volontario per dimostrare la conformità, anche attraverso pratiche di gestione dei rischi sistemici. Non sostituisce la verifica da parte dell’autorità. Nel caso di OpenAI, il passo documentato resta l’esame delle informazioni e degli incidenti segnalati; nel briefing la Commissione non ha presentato una conclusione sulla violazione delle regole né misure imposte all’azienda.

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet