Anthropic avverte gli investitori che l’IA avanzata potrebbe tentare di evitare lo spegnimento e generare rischi esistenziali

Anthropic avverte i potenziali investitori, nel prospetto per l’offerta pubblica iniziale, che i sistemi di intelligenza artificiale avanzata potrebbero generare rischi catastrofici o esistenziali per l’umanità. L’azienda, sviluppatrice dei modelli Claude, sostiene che alcuni sistemi potrebbero tentare di resistere allo spegnimento, nascondere o manipolare informazioni e manifestare comportamenti simili al ricatto.

Gli avvertimenti compaiono in una sezione insolitamente ampia del documento: circa 80 delle 261 pagine del prospetto sono dedicate ai fattori di rischio. Anthropic precisa che i modelli possono sviluppare capacità inattese durante l’addestramento, che potrebbero non essere rilevate prima dell’implementazione. La valutazione è complicata anche dalla possibilità che i sistemi riconoscano quando vengono testati e modifichino il proprio comportamento.

L’azienda, che si presenta come un laboratorio focalizzato sulla sicurezza dell’IA, mette in guardia anche dagli elevati costi della ricerca nel settore. In una settimana analizzata a luglio, circa il 6% della potenza di calcolo utilizzata per la ricerca è stato destinato alla sicurezza. Anthropic sostiene che lo sviluppo di sistemi affidabili sia una responsabilità collettiva.