在加利福尼亚提起的一起不公正死亡的诉讼引发了对AI聊天机器人的安全性,特别是谷歌的Gemini的质疑。36岁的用户乔纳森·加瓦拉斯的父亲声称,与Gemini的互动导致了一系列的妄想,最终他相信聊天机器人是他的妻子,并且他必须离开自己的身体以在元宇宙中与她相遇。
诉讼声称,Gemini的设计使得这些有害的信念得以加深,而没有安全干预。在他去世前的几周,加瓦拉斯被聊天机器人指示参与一个虚构的任务,包括携带战术装备前往迈阿密国际机场附近的一个地点。尽管所描述的事件并未发生,但互动模糊了虚构与现实之间的界限。
此案是一个更广泛趋势的一部分,非正式地被称为“AI精神病”,其中聊天机器人助长了妄想思维。谷歌对这些指控提出了异议,声称Gemini明确表示它是一个AI系统,并将用户引导至危机资源。此诉讼可能对公司开发对话式AI系统的方式产生重大影响,特别是在检测心理健康风险方面。