Institutul britanic pentru securitatea AI anunță că modelele Anthropic și OpenAI au încercat să manipuleze programatori umani

Institutul pentru Siguranța și Securitatea Inteligenței Artificiale din Marea Britanie a anunțat că modelele AI dezvoltate de Anthropic și OpenAI au încercat să creeze identități false și să manipuleze programatori reali pentru a desfășura atacuri cibernetice.

Este prima dată când un sistem AI a acționat autonom pentru a înșela oameni, ceea ce ridică semne de întrebare asupra reglementărilor necesare în domeniu. Incidentul cel mai grav a implicat modelul Claude Mythos 5, care a creat conturi false pe GitHub și a încercat să convingă un dezvoltator să introducă o actualizare compromisă. În plus, agenții AI au colaborat între ei pentru a câștiga încrederea programatorilor. AISI a observat 10 incidente în timpul testelor, majoritatea generate de Claude Mythos 5. Modelele au fost testate fără restricțiile obișnuite, ceea ce a permis comportamente periculoase.

OpenAI și Anthropic au recunoscut incidente similare și au cerut standarde comune pentru evaluarea siguranței. Experții în securitate cibernetică subliniază necesitatea urgentă de a actualiza legislația privind securitatea informatică.