Comisia examinează instrumente AI care ar putea genera imagini sexuale neconsensuale cu femei și copii

Comisia spune că analizează constatările unei investigații privind modele de inteligență artificială găzduite pe o platformă online și discută cu părțile implicate. Instituția nu a anunțat încă deschiderea unei proceduri formale, dar indică solicitări de informații, investigații și amenzi printre măsurile care pot fi folosite în temeiul Regulamentului privind inteligența artificială.

Comisia Europeană analizează informații potrivit cărora unele instrumente de inteligență artificială găzduite pe o platformă online ar putea genera imagini sexuale neconsensuale cu femei și materiale care implică copii. Instituția afirmă că este la curent cu investigația care a semnalat aceste instrumente, discută cu părțile implicate și examinează constatările pentru a stabili dacă sunt necesare măsuri de aplicare a Regulamentului privind inteligența artificială.

Pe scurt

Comisia spune că a primit informații despre instrumente AI care ar putea genera imagini sexuale cu femei fără consimțământ și materiale care implică abuzuri sexuale asupra copiilor.

Instituția este în contact cu părțile implicate și analizează constatările, dar nu a confirmat deschiderea unei investigații formale și nu a identificat public instrumentele examinate.

Începând cu 2 august, Comisia dispune de competențe de aplicare privind furnizorii modelelor AI de uz general și interdicțiile relevante prevăzute de Regulamentul privind inteligența artificială.

Primele măsuri pot include discuții cu furnizorii și solicitări de informații. Dacă apar indicii de încălcare, Comisia poate adopta cereri obligatorii, poate deschide o investigație și poate ajunge la amenzi.

Aplicarea este împărțită între Comisie și autoritățile naționale. Comisia supraveghează furnizorii modelelor AI de uz general, iar autoritățile de supraveghere a pieței din statele membre controlează celelalte sisteme care intră în competența lor.

Cazul privește instrumente care ar folosi inteligența artificială generativă pentru a produce sau modifica imagini sexuale fără acordul persoanelor reprezentate. Astfel de servicii pot permite utilizatorilor să introducă o fotografie, să descrie rezultatul dorit sau să folosească un model antrenat pentru generarea automată a conținutului.

Problema nu este limitată la imaginile complet artificiale. Un instrument poate utiliza fotografia unei persoane reale și poate crea o reprezentare sexuală care nu a existat niciodată, fără ca persoana respectivă să fi consimțit la folosirea imaginii sau la rezultatul produs.

În cazul copiilor, riscul este mai grav deoarece instrumentele pot fi utilizate pentru crearea unor reprezentări sexuale ale minorilor. Comisia a afirmat că sistemele care produc materiale privind abuzurile sexuale asupra copiilor sau imagini sexuale ale femeilor împotriva voinței lor nu au loc în Uniunea Europeană.

Instituția nu a publicat o listă a modelelor analizate, numărul lor, identitatea dezvoltatorilor sau volumul de conținut care ar fi fost generat. Nici platforma pe care acestea ar fi găzduite nu este identificată în mod suficient de clar în transcrierea disponibilă pentru a putea fi numită fără o verificare suplimentară.

Comisia a confirmat însă că este la curent cu raportul și că examinează constatările pentru eventuale măsuri. De asemenea, a spus că se află în contact cu toate părțile relevante, fără să precizeze dacă acestea includ platforma, dezvoltatorii modelelor, autorități franceze sau organizația care a realizat investigația.

Această etapă preliminară trebuie diferențiată de deschiderea unei proceduri formale. Analizarea unui raport permite instituției să verifice informațiile, să stabilească ce tehnologie este implicată și să identifice furnizorul responsabil înainte de a decide dacă există suficiente elemente pentru o investigație.

Comisia nu a confirmat că a identificat deja o încălcare. Faptul că un instrument este prezentat într-un raport extern nu demonstrează singur că funcționează în modul descris, că este accesibil utilizatorilor din UE sau că responsabilitatea juridică revine platformei care îl găzduiește.

Evaluarea trebuie să distingă între dezvoltatorul modelului, persoana care l-a publicat, serviciul care îl pune la dispoziția utilizatorilor și platforma care oferă infrastructura de găzduire. În funcție de modul de funcționare, fiecare actor poate avea un rol diferit și obligații juridice distincte.

O platformă poate găzdui fișierele unui model fără să îl fi dezvoltat. În alte cazuri, poate integra modelul într-un serviciu propriu, poate controla accesul, poate recomanda instrumentul utilizatorilor sau poate obține venituri din folosirea acestuia.

Pentru aplicarea Regulamentului privind inteligența artificială, Comisia trebuie să stabilească dacă tehnologia analizată este un model AI de uz general, un sistem construit pe baza unui asemenea model sau un serviciu care utilizează mai multe componente. Clasificarea determină autoritatea competentă și obligațiile aplicabile.

Comisia a indicat data de 2 august drept moment important pentru noile sale competențe de aplicare. Din acel moment, instituția poate interveni direct în raport cu furnizorii modelelor AI de uz general și în chestiuni legate de interdicțiile prevăzute de regulament.

Modelele AI de uz general pot fi utilizate pentru mai multe sarcini și integrate în numeroase aplicații. Furnizorul dezvoltă modelul de bază, iar alte companii sau utilizatori îl pot adapta pentru generarea de imagini, texte, înregistrări audio sau alte rezultate.

Un instrument destinat explicit generării de imagini sexuale neconsensuale poate fi construit prin modificarea unui model mai larg. Într-o asemenea situație, evaluarea trebuie să stabilească ce capacități provin din modelul inițial și ce funcții au fost adăugate de dezvoltatorul aplicației.

Comisia a explicat că aplicarea regulilor va urma o abordare graduală. Primul pas poate consta în dialogul cu furnizorii și în solicitarea voluntară de explicații privind funcționarea instrumentului, măsurile de siguranță și accesul utilizatorilor.

Instituția poate cere informații despre datele folosite, filtrele introduse, testele de siguranță, mecanismele de raportare și măsurile prin care este împiedicată generarea conținutului interzis. Poate solicita și explicații despre modul în care modelul a fost publicat și distribuit.

O solicitare inițială de informații nu reprezintă o constatare de vinovăție. Ea permite autorității să verifice dacă raportul extern descrie corect produsul și dacă furnizorul a introdus măsuri suficiente pentru prevenirea utilizărilor abuzive.

Dacă răspunsurile sunt incomplete sau problema necesită o verificare formală, Comisia poate adopta o decizie obligatorie prin care solicită informații. Necomunicarea datelor sau furnizarea unor informații incorecte poate avea consecințe separate de eventuala încălcare produsă prin funcționarea instrumentului.

Comisia poate deschide ulterior o investigație. Aceasta poate analiza responsabilitatea furnizorului, accesibilitatea serviciului în Uniune, caracteristicile tehnice și conformitatea măsurilor introduse pentru prevenirea conținutului interzis.

O investigație poate conduce la solicitarea unor modificări ale sistemului, limitarea accesului la anumite funcții, retragerea unui instrument sau aplicarea unor sancțiuni financiare, în funcție de încălcarea constatată și de competențele prevăzute de legislație.

Purtătorul de cuvânt a menționat explicit posibilitatea amenzilor, dar nu a indicat valoarea maximă aplicabilă acestui caz. Nivelul unei sancțiuni depinde de norma încălcată, actorul responsabil, gravitatea și durata situației și cooperarea companiei cu autoritățile.

Comisia a comparat procesul cu aplicarea Regulamentului privind serviciile digitale, unde supravegherea poate începe prin contacte cu platforma, continua cu solicitări de informații și ajunge la o investigație formală.

Cele două regulamente nu sunt însă identice. Regulamentul privind inteligența artificială urmărește dezvoltarea și utilizarea sistemelor AI, în timp ce Regulamentul privind serviciile digitale stabilește responsabilitățile serviciilor online privind conținutul, riscurile sistemice și protecția utilizatorilor.

Un caz poate intra sub incidența ambelor cadre. Modelul care generează imaginile poate fi analizat prin Regulamentul privind inteligența artificială, iar platforma care îl distribuie poate avea separat obligații în temeiul Regulamentului privind serviciile digitale.

Comisia a spus că există deja reguli clare atât în DSA, cât și în Regulamentul privind inteligența artificială. Alegerea instrumentului juridic depinde de funcționarea serviciului, rolul fiecărei companii și natura conținutului.

DSA nu obligă o platformă să verifice în avans fiecare informație sau instrument încărcat de utilizatori. Odată informată despre conținut sau activități potențial ilegale, platforma poate avea însă obligația de a analiza notificarea și de a acționa în conformitate cu regulile aplicabile.

Platformele foarte mari trebuie să evalueze și riscurile sistemice create prin funcționarea serviciilor lor. Aceste riscuri pot privi distribuirea conținutului ilegal, protecția minorilor, violența bazată pe gen și efectele asupra drepturilor fundamentale.

Comisia nu a precizat dacă platforma vizată este desemnată drept platformă online foarte mare și nici dacă desfășoară deja o evaluare separată în temeiul DSA.

La nivelul Regulamentului privind inteligența artificială, competențele sunt împărțite. Comisia are responsabilitatea directă privind furnizorii modelelor AI de uz general, în timp ce statele membre trebuie să desemneze autorități de supraveghere pentru sistemele și utilizările aflate în competența națională.

Purtătorul de cuvânt a afirmat că cele 27 de autorități naționale de supraveghere a pieței vor putea controla și aplica regulile și vor coopera cu Comisia. Nu rezultă că toate cele 27 de autorități ar investiga simultan același serviciu.

Autoritatea competentă poate depinde de locul în care furnizorul este stabilit, de modul în care produsul este introdus pe piața europeană și de categoria tehnologiei. Cooperarea este necesară atunci când un serviciu este accesibil în mai multe state.

Comisia nu a prezentat date despre numărul utilizatorilor care ar fi accesat instrumentele, țările în care acestea sunt disponibile sau existența unor victime identificate. Raportul extern și constatările sale trebuie verificate înainte ca asemenea informații să poată fi stabilite oficial.

Nu este clar nici dacă platforma a eliminat deja unele modele, dacă a restricționat accesul sau dacă a introdus măsuri suplimentare după apariția investigației. Comisia nu a oferit informații despre răspunsurile companiilor implicate.

Pentru persoanele reprezentate în imaginile generate, prejudiciul poate exista chiar dacă materialul este artificial. Imaginea poate fi distribuită ca și cum ar fi autentică, poate afecta reputația și viața privată și poate fi folosită pentru hărțuire, șantaj sau intimidare.

În cazul copiilor, generarea și circulația materialelor sexuale pot normaliza abuzul și pot fi folosite în comunități infracționale. Autoritățile trebuie să diferențieze evaluarea tehnologiei de investigarea penală a persoanelor care creează sau distribuie conținut ilegal.

Regulamentul privind inteligența artificială nu înlocuiește legislația penală, regulile privind protecția copilului, protecția datelor sau dreptul la propria imagine. Aceeași situație poate genera proceduri diferite împotriva furnizorului tehnologiei și a utilizatorilor care au produs ori distribuit materialele.

Instrumentele de generare a imaginilor pot introduce filtre care blochează anumite solicitări, detectează conținutul sexual, limitează încărcarea fotografiilor cu persoane reale sau marchează rezultatele drept artificiale. Eficiența acestor măsuri depinde de proiectarea lor și de posibilitatea utilizatorilor de a le evita.

Simpla existență a unor reguli în condițiile de utilizare nu este întotdeauna suficientă. Autoritățile pot analiza dacă furnizorul aplică efectiv restricțiile, dacă răspunde la raportări și dacă elimină modelele sau funcțiile create în mod evident pentru utilizări interzise.

Comisia nu a indicat ce măsură ar considera adecvată în cazul analizat. Decizia poate depinde de existența unei încălcări, de cooperarea furnizorilor și de posibilitatea remedierii rapide a riscului.

Instituția a folosit o formulare categorică privind rezultatul urmărit, afirmând că nu va accepta sau tolera în Europa instrumente care generează materiale privind abuzurile sexuale asupra copiilor ori imagini sexuale ale femeilor fără acordul lor.

Această declarație politică nu înlocuiește procedura juridică. Înaintea unei sancțiuni, Comisia trebuie să stabilească faptele, norma aplicabilă și responsabilitatea fiecărei companii.

Regulamentul privind inteligența artificială distribuie responsabilitățile de supraveghere între Comisia Europeană și autoritățile naționale. Oficiul european pentru inteligență artificială coordonează aplicarea regulilor privind modelele AI de uz general și cooperează cu organismele din statele membre.

Cazul semnalat reprezintă unul dintre primele teste pentru aplicarea interdicțiilor și competențelor europene asupra instrumentelor generative care pot produce conținut sexual abuziv. Comisia se află încă în etapa examinării informațiilor și nu a anunțat o concluzie, o investigație formală sau o sancțiune.

https://2eu.brussels/ro/news/comisia-examineaza-instrumente-ai-care-ar-putea-genera-imagini-sexuale-neconsensuale-cu-femei-si-copii