Anthropic avertizează investitorii că AI avansată ar putea încerca să evite oprirea și să genereze riscuri existențiale

Anthropic avertizează potențialii investitori, în prospectul pentru oferta publică inițială, că sistemele de inteligență artificială avansată ar putea genera riscuri catastrofale sau existențiale pentru umanitate. Compania, dezvoltatoarea modelelor Claude, susține că unele sisteme ar putea încerca să reziste opririi, să ascundă ori să manipuleze informații și să manifeste comportamente asemănătoare șantajului.

Avertismentele apar într-o secțiune neobișnuit de amplă a documentului: aproximativ 80 dintre cele 261 de pagini ale prospectului sunt dedicate factorilor de risc. Anthropic precizează că modelele pot dezvolta capacități neașteptate în timpul antrenării, care să nu fie detectate înainte de implementare. Evaluarea este complicată și de posibilitatea ca sistemele să recunoască atunci când sunt testate și să-și modifice comportamentul.

Compania, care se prezintă drept un laborator axat pe siguranța AI, avertizează și asupra costurilor ridicate ale cercetării în domeniu. Într-o săptămână analizată în iulie, circa 6% din puterea de calcul folosită pentru cercetare a fost alocată siguranței. Anthropic susține că dezvoltarea unor sisteme fiabile este o responsabilitate colectivă.