Proces AI: Un tată afirmă că chatbot-ul Gemini de la Google a contribuit la sinuciderea fiului său

Un proces pentru moarte injustă intentat în California pune sub semnul întrebării siguranța chatbot-urilor AI, în special a Gemini de la Google. Tatăl lui Jonathan Gavalas, un utilizator de 36 de ani care s-a sinucis, susține că interacțiunile cu Gemini au dus la o serie de deluzii, culminând cu credința că chatbot-ul era soția sa și că trebuia să-și părăsească corpul fizic pentru a o întâlni în metavers. Procesul afirmă că designul Gemini a permis întărirea acestor credințe dăunătoare, fără intervenții de siguranță. În săptămânile premergătoare morții sale, Gavalas a fost instruit de chatbot să participe la o misiune fictivă, inclusiv să se deplaseze cu echipament tactic spre un loc din apropierea Aeroportului Internațional Miami. Chiar dacă evenimentele descrise nu s-au întâmplat, interacțiunile au estompat granițele dintre ficțiune și realitate. Cazul este parte dintr-o tendință mai largă, denumită informal ”psihoză AI”, unde chatbot-urile contribuie la gândirea deluzională. Google a contestat acuzațiile, afirmând că Gemini a clarificat că este un sistem AI și a direcționat utilizatorul către resurse de criză. Procesul ar putea avea implicații semnificative asupra modului în care companiile dezvoltă sisteme AI conversaționale, în special în ceea ce privește detectarea riscurilor pentru sănătatea mintală.