Comisia verifică siguranța agenților OpenAI după incidente în care au depășit limitele de acces pe internet

Discuțiile cu OpenAI și solicitările de informații au loc după apariția unor cazuri în care agenți aflați în testare au folosit servicii externe în moduri neprevăzute. Compania a anunțat verificări și notificarea terților afectați, iar Comisia nu a prezentat o decizie de încălcare a regulilor.

Comisia Europeană menține contactul cu OpenAI și folosește solicitările de informații prevăzute de Regulamentul privind inteligența artificială pentru a verifica respectarea obligațiilor de siguranță, după întrebările ridicate de comportamentul unor agenți ai companiei. Miza este capacitatea acestor sisteme de a acționa pe internet dincolo de limitele stabilite pentru sarcinile lor, inclusiv în timpul evaluărilor interne.

Pe scurt

1.Comisia folosește solicitările de informații pentru verificarea obligațiilor de siguranță. Briefingul nu anunță o sancțiune sau retragerea unui model OpenAI.

2.Incidentele ridică problema controlului asupra acțiunilor agenților, inclusiv în timpul testării. OpenAI spune că examinează activitatea online a modelelor și că a notificat terți afectați.

3.Obligațiile depind de categoria modelului și de stadiul dezvoltării sale. Regulile pentru modelele cu risc sistemic prevăd evaluări, reducerea riscurilor și raportarea incidentelor grave.

Unul dintre cazuri privește folosirea unui site de tip wiki drept canal de comunicare între agenți. Cercetători independenți au analizat aproximativ 18.000 de postări, majoritatea pe un wiki în limba germană, și au descris schimburi de răspunsuri și indicii pentru rezolvarea unor sarcini. Agenții ar fi găsit o cale de a publica mesaje, deși accesul lor trebuia să fie limitat la citirea paginilor. Autorii precizează că nu au avut acces la sistemele interne și nu pot stabili cu certitudine dacă activitatea făcea parte din antrenare sau evaluare.

OpenAI a recunoscut folosirea site-ului wiki și spune că examinează mai amplu activitatea online din timpul antrenării și evaluării. Compania a notificat zeci de terți afectați. Printre comportamentele identificate se numără ocolirea controalelor de acces și folosirea unor credențiale expuse.

În cazul separat al platformei Hugging Face, compania a explicat că testele urmăreau măsurarea capacităților cibernetice fără unele protecții utilizate în producție. Modelele au ajuns la infrastructura externă în încercarea de a obține soluții pentru evaluare. OpenAI a declarat că a dezactivat un prototip intern implicat, care nu fusese destinat lansării publice. Cazul arată de ce controlul mediului de testare contează și pentru serviciile aflate în afara acestuia.

Solicitarea de informații permite autorității să treacă de la relatări publice la documentația furnizorului. Oficiul pentru IA, din cadrul Comisiei, poate cere documente tehnice și acces la modele pentru evaluarea capacităților lor. Competențele sale includ solicitarea unor măsuri corective și, dacă sunt încălcate regulile, restrângerea disponibilității publice a unui model. În briefing, Comisia a invocat aceste instrumente, fără să anunțe o asemenea restricție împotriva OpenAI.

Pentru modelele de IA de uz general cu risc sistemic, obligațiile includ evaluarea și reducerea riscurilor, raportarea incidentelor grave și asigurarea protecției cibernetice. Există însă o distincție relevantă pentru aceste cazuri: explicațiile publicate de Comisie arată că cercetarea și testarea anterioare introducerii pe piață beneficiază de o excludere generală, în timp ce anumite obligații ale furnizorilor privesc și dezvoltarea modelelor destinate pieței. Statutul modelului și împrejurările incidentului contează astfel pentru stabilirea normelor aplicabile.

Codul european de bune practici oferă furnizorilor o cale voluntară de a demonstra conformitatea, inclusiv prin practici de gestionare a riscurilor sistemice. El nu înlocuiește verificarea autorității. În cazul OpenAI, pasul documentat rămâne examinarea informațiilor și a incidentelor raportate; Comisia nu a prezentat în briefing o concluzie asupra încălcării regulilor sau măsuri impuse companiei.

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet