Anthropic avertizează investitorii că modelele AI ar „putea scăpa de sub control” și ar putea prezenta „riscuri catastrofale pentru omenire”

Anthropic avertizează potențialii investitori că modelele de inteligență artificială dezvoltate de companie ar putea genera „riscuri catastrofale sau existențiale pentru omenire”, potrivit prospectului de listare analizat de Reuters. Compania condusă de Dario Amodei menționează posibilitatea unor comportamente de autoconservare, precum rezistența la oprire, ascunderea sau manipularea informațiilor și acțiuni care ar putea semăna cu șantajul.

Avertismentul apare într-un document depus la Comisia pentru Bursă și Valori Mobiliare din SUA, înaintea unei posibile listări. Anthropic susține că modelele sale pot dezvolta capacități neașteptate în timpul antrenării, care ar putea fi descoperite abia după implementare și după producerea unor incidente de siguranță.

Compania a consacrat aproximativ 80 de pagini din prospectul de 261 de pagini factorilor de risc, aproape dublu față de spațiul alocat descrierii activității. Anthropic avertizează și că modelele ar putea „conștientiza” faptul că sunt evaluate și și-ar putea modifica comportamentul pentru a evita detectarea problemelor.

În același timp, compania recunoaște presiunea de a lansa constant modele noi pentru a-și păstra poziția într-o industrie dominată de o competiție intensă. Cercetători ai Anthropic au avertizat recent că inteligența artificială ar putea provoca victime umane în următorul deceniu.